Python整数对象实现原理详解


Posted in Python onJuly 01, 2019

整数对象在Python内部用PyIntObject结构体表示:

typedef struct {
PyObject_HEAD
long ob_ival;
} PyIntObject;

PyObject_HEAD宏中定义的两个属性分别是:

int ob_refcnt; 
struct _typeobject *ob_type;

这两个属性是所有Python对象固有的:

  • ob_refcnt:对象的引用计数,与Python的内存管理机制有关,它实现了基于引用计数的垃圾收集机制
  • ob_type:用于描述Python对象的类型信息。

由此看来PyIntObject就是一个对C语言中long类型的数值的扩展,出于性能考虑,对于小整数,Python使用小整数对象池small_ints缓存了[-5,257)之间的整数,该范围内的整数在Python系统中是共享的。

#define NSMALLPOSINTS 257
#define NSMALLNEGINTS 5
static PyIntObject *small_ints[NSMALLNEGINTS + NSMALLPOSINTS];

Python整数对象实现原理详解

而超过该范围的整数即使值相同,但对象不一定是同一个,如下所示:当a与b的值都是10000,但并不是同一个对象,而值为1的时候,a和b属于同一个对象。

>>> a = 10000
>>> b = 10000
>>> print a is b
False
>>> a = 1
>>> b = 1
>>> print a is b
True

对于超出了[-5, 257)之间的其他整数,Python同样提供了专门的缓冲池,供这些所谓的大整数使用,避免每次使用的时候都要不断的malloc分配内存带来的效率损耗。这块内存空间就是PyIntBlock。

struct _intblock {
struct _intblock *next;
PyIntObject objects[N_INTOBJECTS];
};
typedef struct _intblock PyIntBlock;
static PyIntBlock *block_list = NULL;
static PyIntObject *free_list = NULL;

这些内存块(PyIntBlock)通过一个单向链表组织在一起,表头是block_list,表头始终指向最新创建的PyIntBlock对象。

PyIntBlock有两个属性:next,objects。next指针指向下一个PyIntBlock对象,objects是一个PyIntObject数组(最终会转变成单向链表),它是真正用于存储被缓存的PyIntObjet对象的内存空间。

free_list单向链表是所有PyIntBlock内存块中空闲的内存。所有空闲内存通过一个链表组织起来的好处就是在Python需要新的内存来存储新的PyIntObject对象时,能够通过free_list快速获得所需的内存。

Python整数对象实现原理详解

创建一个整数对象时,如果它在小整数范围内,就直接从小整数缓冲池中直接返回,如果不在该范围内,就开辟一个大整数缓冲池内存空间:

[intobject.c]
PyObject* PyInt_FromLong(long ival)
{
register PyIntObject *v; 
#if NSMALLNEGINTS + NSMALLPOSINTS > 0
//[1] :尝试使用小整数对象池
if (-NSMALLNEGINTS <= ival && ival < NSMALLPOSINTS) {
v = small_ints[ival + NSMALLNEGINTS];
Py_INCREF(v);
return (PyObject *) v;
}
#endif
//[2] :为通用整数对象池申请新的内存空间
if (free_list == NULL) {
if ((free_list = fill_free_list()) == NULL)
return NULL;
}
//[3] : (inline)内联PyObject_New的行为
v = free_list;
free_list = (PyIntObject *)v->ob_type;
PyObject_INIT(v, &PyInt_Type);
v->ob_ival = ival;
return (PyObject *) v;
}

fill_free_list就是创建大整数缓冲池内存空间的逻辑,该函数返回一个free_list链表,当整数对象ival创建成功后,free_list表头就指向了v->ob_type,ob_type不是所有Python对象中表示类型信息的字段吗?怎么在这里作为一个连接指针呢?这是Python在性能与代码优雅之间取中庸之道,对名称的滥用,放弃了对类型安全的坚持。把它理解成指向下一个PyIntObject的指针即可。

[intobject.c]
static PyIntObject* fill_free_list(void)
{
PyIntObject *p, *q;
// 申请大小为sizeof(PyIntBlock)的内存空间
// block list始终指向最新创建的PyIntBlock
p = (PyIntObject *) PyMem_MALLOC(sizeof(PyIntBlock));
((PyIntBlock *)p)->next = block_list;
block_list = (PyIntBlock *)p;
//:将PyIntBlock中的PyIntObject数组(objects)转变成单向链表
p = &((PyIntBlock *)p)->objects[0];
q = p + N_INTOBJECTS;
while (--q > p)
// ob_type指向下一个未被使用的PyIntObject。
q->ob_type = (struct _typeobject *)(q-1);
q->ob_type = NULL;
return p + N_INTOBJECTS - 1;
}

不同的PyIntBlock里面的空闲的内存是怎样连接起来构成free_list的呢?这个秘密放在了整数对象垃圾回收的时候,在PyIntObject对象的tp_dealloc操作中可以看到:

[intobject.c]
static void int_dealloc(PyIntObject *v)
{
if (PyInt_CheckExact(v)) {
v->ob_type = (struct _typeobject *)free_list;
free_list = v;
}
else
v->ob_type->tp_free((PyObject *)v);
}

原来PyIntObject对象销毁时,它所占用的内存并不会释放,而是继续被Python使用,进而将free_list表头指向了这个要被销毁的对象上。

总结

  • Python中的int对象就是c语言中long类型数值的扩展
  • 小整数对象[-5, 257]在python中是共享的
  • 整数对象都是从缓冲池中获取的。
  • 整数对象回收时,内存并不会归还给系统,而是将其对象的ob_type指向free_list,供新创建的整数对象使用

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持三水点靠木。

Python 相关文章推荐
以Flask为例讲解Python的框架的使用方法
Apr 29 Python
详解Django中的ifequal和ifnotequal标签使用
Jul 16 Python
详解python3百度指数抓取实例
Dec 12 Python
Python时间获取及转换知识汇总
Jan 11 Python
python与C互相调用的方法详解
Jul 14 Python
浅谈python迭代器
Nov 08 Python
Python使用装饰器模拟用户登陆验证功能示例
Aug 24 Python
python 获取等间隔的数组实例
Jul 04 Python
python图形开发GUI库pyqt5的基本使用方法详解
Feb 14 Python
一文了解python 3 字符串格式化 F-string 用法
Mar 04 Python
Python通过getattr函数获取对象的属性值
Oct 16 Python
python的html标准库
Apr 29 Python
python实现两个dict合并与计算操作示例
Jul 01 #Python
Python字符串对象实现原理详解
Jul 01 #Python
Python转换时间的图文方法
Jul 01 #Python
Python列表对象实现原理详解
Jul 01 #Python
win8.1安装Python 2.7版环境图文详解
Jul 01 #Python
Python为何不能用可变对象作为默认参数的值
Jul 01 #Python
浅析Python与Mongodb数据库之间的操作方法
Jul 01 #Python
You might like
PHP获取音频文件的相关信息
2015/06/22 PHP
PHP简单实现无限级分类的方法
2016/05/13 PHP
PHP静态成员变量
2017/02/14 PHP
ThinkPHP实现的rsa非对称加密类示例
2018/05/29 PHP
JavaScript 私有成员分析
2009/01/13 Javascript
学习ExtJS table布局
2009/10/08 Javascript
js 关于=+与+=日期函数使用说明(赋值运算符)
2011/11/15 Javascript
一个页面放2段图片滚动代码出现冲突的问题如何解决
2012/12/21 Javascript
JavaScript中的连字符详解
2013/11/28 Javascript
Extjs的FileUploadField文件上传出现了两个上传按钮
2014/04/29 Javascript
jQuery实现鼠标划过添加和删除class的方法
2015/06/26 Javascript
详解iframe与frame的区别
2016/01/13 Javascript
工厂模式在JS中的实践
2017/01/18 Javascript
BootStrap的select2既可以查询又可以输入的实现代码
2017/02/17 Javascript
Nodejs进阶:express+session实现简易登录身份认证
2017/04/24 NodeJs
JS实现简单的天数计算器完整实例
2017/04/28 Javascript
angular 用拦截器统一处理http请求和响应的方法
2017/06/08 Javascript
Vue实现点击后文字变色切换方法
2018/02/11 Javascript
JavaScript实现预览本地上传图片功能完整示例
2019/03/08 Javascript
python的迭代器与生成器实例详解
2014/07/16 Python
在Python中处理日期和时间的基本知识点整理汇总
2015/05/22 Python
python中logging库的使用总结
2017/10/18 Python
Tensorflow分类器项目自定义数据读入的实现
2019/02/05 Python
美国内衣第一品牌:Hanes(恒适)
2016/07/29 全球购物
香港迪士尼乐园酒店预订:Hong Kong Disneyland Hotels
2017/05/02 全球购物
Lampegiganten丹麦:欧洲领先的照明网上商店
2018/04/25 全球购物
美国现代家具购物网站:LexMod
2019/01/09 全球购物
自我评价优秀范文分享
2013/11/30 职场文书
勿忘国耻9.18演讲稿(经典篇)
2014/09/14 职场文书
幼儿园辞职书
2015/02/26 职场文书
2015年大学生入党自荐书
2015/03/24 职场文书
小学同学聚会感言
2015/07/30 职场文书
学校安全管理制度
2015/08/06 职场文书
工作汇报材料难写?方法都在这里了!
2019/07/01 职场文书
劳务派遣管理制度(样本)
2019/08/23 职场文书
Go语言基础知识点介绍
2021/07/04 Golang