Python整数对象实现原理详解


Posted in Python onJuly 01, 2019

整数对象在Python内部用PyIntObject结构体表示:

typedef struct {
PyObject_HEAD
long ob_ival;
} PyIntObject;

PyObject_HEAD宏中定义的两个属性分别是:

int ob_refcnt; 
struct _typeobject *ob_type;

这两个属性是所有Python对象固有的:

  • ob_refcnt:对象的引用计数,与Python的内存管理机制有关,它实现了基于引用计数的垃圾收集机制
  • ob_type:用于描述Python对象的类型信息。

由此看来PyIntObject就是一个对C语言中long类型的数值的扩展,出于性能考虑,对于小整数,Python使用小整数对象池small_ints缓存了[-5,257)之间的整数,该范围内的整数在Python系统中是共享的。

#define NSMALLPOSINTS 257
#define NSMALLNEGINTS 5
static PyIntObject *small_ints[NSMALLNEGINTS + NSMALLPOSINTS];

Python整数对象实现原理详解

而超过该范围的整数即使值相同,但对象不一定是同一个,如下所示:当a与b的值都是10000,但并不是同一个对象,而值为1的时候,a和b属于同一个对象。

>>> a = 10000
>>> b = 10000
>>> print a is b
False
>>> a = 1
>>> b = 1
>>> print a is b
True

对于超出了[-5, 257)之间的其他整数,Python同样提供了专门的缓冲池,供这些所谓的大整数使用,避免每次使用的时候都要不断的malloc分配内存带来的效率损耗。这块内存空间就是PyIntBlock。

struct _intblock {
struct _intblock *next;
PyIntObject objects[N_INTOBJECTS];
};
typedef struct _intblock PyIntBlock;
static PyIntBlock *block_list = NULL;
static PyIntObject *free_list = NULL;

这些内存块(PyIntBlock)通过一个单向链表组织在一起,表头是block_list,表头始终指向最新创建的PyIntBlock对象。

PyIntBlock有两个属性:next,objects。next指针指向下一个PyIntBlock对象,objects是一个PyIntObject数组(最终会转变成单向链表),它是真正用于存储被缓存的PyIntObjet对象的内存空间。

free_list单向链表是所有PyIntBlock内存块中空闲的内存。所有空闲内存通过一个链表组织起来的好处就是在Python需要新的内存来存储新的PyIntObject对象时,能够通过free_list快速获得所需的内存。

Python整数对象实现原理详解

创建一个整数对象时,如果它在小整数范围内,就直接从小整数缓冲池中直接返回,如果不在该范围内,就开辟一个大整数缓冲池内存空间:

[intobject.c]
PyObject* PyInt_FromLong(long ival)
{
register PyIntObject *v; 
#if NSMALLNEGINTS + NSMALLPOSINTS > 0
//[1] :尝试使用小整数对象池
if (-NSMALLNEGINTS <= ival && ival < NSMALLPOSINTS) {
v = small_ints[ival + NSMALLNEGINTS];
Py_INCREF(v);
return (PyObject *) v;
}
#endif
//[2] :为通用整数对象池申请新的内存空间
if (free_list == NULL) {
if ((free_list = fill_free_list()) == NULL)
return NULL;
}
//[3] : (inline)内联PyObject_New的行为
v = free_list;
free_list = (PyIntObject *)v->ob_type;
PyObject_INIT(v, &PyInt_Type);
v->ob_ival = ival;
return (PyObject *) v;
}

fill_free_list就是创建大整数缓冲池内存空间的逻辑,该函数返回一个free_list链表,当整数对象ival创建成功后,free_list表头就指向了v->ob_type,ob_type不是所有Python对象中表示类型信息的字段吗?怎么在这里作为一个连接指针呢?这是Python在性能与代码优雅之间取中庸之道,对名称的滥用,放弃了对类型安全的坚持。把它理解成指向下一个PyIntObject的指针即可。

[intobject.c]
static PyIntObject* fill_free_list(void)
{
PyIntObject *p, *q;
// 申请大小为sizeof(PyIntBlock)的内存空间
// block list始终指向最新创建的PyIntBlock
p = (PyIntObject *) PyMem_MALLOC(sizeof(PyIntBlock));
((PyIntBlock *)p)->next = block_list;
block_list = (PyIntBlock *)p;
//:将PyIntBlock中的PyIntObject数组(objects)转变成单向链表
p = &((PyIntBlock *)p)->objects[0];
q = p + N_INTOBJECTS;
while (--q > p)
// ob_type指向下一个未被使用的PyIntObject。
q->ob_type = (struct _typeobject *)(q-1);
q->ob_type = NULL;
return p + N_INTOBJECTS - 1;
}

不同的PyIntBlock里面的空闲的内存是怎样连接起来构成free_list的呢?这个秘密放在了整数对象垃圾回收的时候,在PyIntObject对象的tp_dealloc操作中可以看到:

[intobject.c]
static void int_dealloc(PyIntObject *v)
{
if (PyInt_CheckExact(v)) {
v->ob_type = (struct _typeobject *)free_list;
free_list = v;
}
else
v->ob_type->tp_free((PyObject *)v);
}

原来PyIntObject对象销毁时,它所占用的内存并不会释放,而是继续被Python使用,进而将free_list表头指向了这个要被销毁的对象上。

总结

  • Python中的int对象就是c语言中long类型数值的扩展
  • 小整数对象[-5, 257]在python中是共享的
  • 整数对象都是从缓冲池中获取的。
  • 整数对象回收时,内存并不会归还给系统,而是将其对象的ob_type指向free_list,供新创建的整数对象使用

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持三水点靠木。

Python 相关文章推荐
Python多线程编程(四):使用Lock互斥锁
Apr 05 Python
python+pillow绘制矩阵盖尔圆简单实例
Jan 16 Python
python字典值排序并取出前n个key值的方法
Oct 17 Python
对python字典过滤条件的实例详解
Jan 22 Python
Python属性和内建属性实例解析
Jan 14 Python
python3.6连接mysql数据库及增删改查操作详解
Feb 10 Python
django 数据库 get_or_create函数返回值是tuple的问题
May 15 Python
Django用户登录与注册系统的实现示例
Jun 03 Python
python对execl 处理操作代码
Jun 22 Python
浅析python字符串前加r、f、u、l 的区别
Jan 24 Python
python tkinter Entry控件的焦点移动操作
May 22 Python
如何使用Python提取Chrome浏览器保存的密码
Jun 09 Python
python实现两个dict合并与计算操作示例
Jul 01 #Python
Python字符串对象实现原理详解
Jul 01 #Python
Python转换时间的图文方法
Jul 01 #Python
Python列表对象实现原理详解
Jul 01 #Python
win8.1安装Python 2.7版环境图文详解
Jul 01 #Python
Python为何不能用可变对象作为默认参数的值
Jul 01 #Python
浅析Python与Mongodb数据库之间的操作方法
Jul 01 #Python
You might like
php增删改查示例自己写的demo
2013/09/04 PHP
使用php验证复选框有效性的示例
2013/11/13 PHP
PHP生成不重复随机数的方法汇总
2014/11/19 PHP
Zend Framework实现多文件上传功能实例
2016/03/21 PHP
PHP设计模式之状态模式定义与用法详解
2018/04/02 PHP
one.php 多项目、函数库、类库 统一为一个版本的方法
2020/08/24 PHP
javascript 面向对象编程基础 多态
2009/08/21 Javascript
js Event对象的5种坐标
2011/09/12 Javascript
Javascript 多浏览器兼容总结(实战经验)
2013/10/30 Javascript
jquery简单实现鼠标经过导航条改变背景图
2013/12/17 Javascript
jquery 根据name名获取元素的value值
2015/02/27 Javascript
JavaScript中使用指数方法Math.exp()的简介
2015/06/15 Javascript
提高jQuery性能优化的技巧
2015/08/03 Javascript
18个非常棒的jQuery代码片段
2015/11/02 Javascript
微信QQ的二维码登录原理js代码解析
2016/06/23 Javascript
AngularJS ng-style中使用filter
2016/09/21 Javascript
认识less和webstrom的less配置方法
2017/08/02 Javascript
Node.JS使用Sequelize操作MySQL的示例代码
2017/10/09 Javascript
Angular网络请求的封装方法
2018/05/22 Javascript
vue做移动端适配最佳解决方案(亲测有效)
2018/09/04 Javascript
es5 类与es6中class的区别小结
2020/11/09 Javascript
[01:12]快闪回顾DOTA2亚洲邀请赛(DAC) 静候2018新征程开启
2018/03/11 DOTA
[57:24]LGD vs VGJ.T 2018国际邀请赛小组赛BO2 第二场 8.16
2018/08/17 DOTA
Python的Flask框架中实现登录用户的个人资料和头像的教程
2015/04/20 Python
使用pyecharts1.7进行简单的可视化大全
2020/05/17 Python
Python通过kerberos安全认证操作kafka方式
2020/06/06 Python
python包的导入方式总结
2021/03/02 Python
美国女孩洋娃娃店:American Girl
2017/10/24 全球购物
Exoticca英国:以最优惠的价格提供豪华异国情调旅行
2018/10/18 全球购物
英语专业学生的自我评价
2013/12/30 职场文书
一年级语文教学反思
2014/02/13 职场文书
测控技术自荐信
2014/06/05 职场文书
传承焦裕禄精神思想汇报2014
2014/09/10 职场文书
葬礼主持词
2015/07/02 职场文书
七年级英语教学反思
2016/02/15 职场文书
MySQL 原理与优化之原数据锁的应用
2022/08/14 MySQL