Python整数对象实现原理详解


Posted in Python onJuly 01, 2019

整数对象在Python内部用PyIntObject结构体表示:

typedef struct {
PyObject_HEAD
long ob_ival;
} PyIntObject;

PyObject_HEAD宏中定义的两个属性分别是:

int ob_refcnt; 
struct _typeobject *ob_type;

这两个属性是所有Python对象固有的:

  • ob_refcnt:对象的引用计数,与Python的内存管理机制有关,它实现了基于引用计数的垃圾收集机制
  • ob_type:用于描述Python对象的类型信息。

由此看来PyIntObject就是一个对C语言中long类型的数值的扩展,出于性能考虑,对于小整数,Python使用小整数对象池small_ints缓存了[-5,257)之间的整数,该范围内的整数在Python系统中是共享的。

#define NSMALLPOSINTS 257
#define NSMALLNEGINTS 5
static PyIntObject *small_ints[NSMALLNEGINTS + NSMALLPOSINTS];

Python整数对象实现原理详解

而超过该范围的整数即使值相同,但对象不一定是同一个,如下所示:当a与b的值都是10000,但并不是同一个对象,而值为1的时候,a和b属于同一个对象。

>>> a = 10000
>>> b = 10000
>>> print a is b
False
>>> a = 1
>>> b = 1
>>> print a is b
True

对于超出了[-5, 257)之间的其他整数,Python同样提供了专门的缓冲池,供这些所谓的大整数使用,避免每次使用的时候都要不断的malloc分配内存带来的效率损耗。这块内存空间就是PyIntBlock。

struct _intblock {
struct _intblock *next;
PyIntObject objects[N_INTOBJECTS];
};
typedef struct _intblock PyIntBlock;
static PyIntBlock *block_list = NULL;
static PyIntObject *free_list = NULL;

这些内存块(PyIntBlock)通过一个单向链表组织在一起,表头是block_list,表头始终指向最新创建的PyIntBlock对象。

PyIntBlock有两个属性:next,objects。next指针指向下一个PyIntBlock对象,objects是一个PyIntObject数组(最终会转变成单向链表),它是真正用于存储被缓存的PyIntObjet对象的内存空间。

free_list单向链表是所有PyIntBlock内存块中空闲的内存。所有空闲内存通过一个链表组织起来的好处就是在Python需要新的内存来存储新的PyIntObject对象时,能够通过free_list快速获得所需的内存。

Python整数对象实现原理详解

创建一个整数对象时,如果它在小整数范围内,就直接从小整数缓冲池中直接返回,如果不在该范围内,就开辟一个大整数缓冲池内存空间:

[intobject.c]
PyObject* PyInt_FromLong(long ival)
{
register PyIntObject *v; 
#if NSMALLNEGINTS + NSMALLPOSINTS > 0
//[1] :尝试使用小整数对象池
if (-NSMALLNEGINTS <= ival && ival < NSMALLPOSINTS) {
v = small_ints[ival + NSMALLNEGINTS];
Py_INCREF(v);
return (PyObject *) v;
}
#endif
//[2] :为通用整数对象池申请新的内存空间
if (free_list == NULL) {
if ((free_list = fill_free_list()) == NULL)
return NULL;
}
//[3] : (inline)内联PyObject_New的行为
v = free_list;
free_list = (PyIntObject *)v->ob_type;
PyObject_INIT(v, &PyInt_Type);
v->ob_ival = ival;
return (PyObject *) v;
}

fill_free_list就是创建大整数缓冲池内存空间的逻辑,该函数返回一个free_list链表,当整数对象ival创建成功后,free_list表头就指向了v->ob_type,ob_type不是所有Python对象中表示类型信息的字段吗?怎么在这里作为一个连接指针呢?这是Python在性能与代码优雅之间取中庸之道,对名称的滥用,放弃了对类型安全的坚持。把它理解成指向下一个PyIntObject的指针即可。

[intobject.c]
static PyIntObject* fill_free_list(void)
{
PyIntObject *p, *q;
// 申请大小为sizeof(PyIntBlock)的内存空间
// block list始终指向最新创建的PyIntBlock
p = (PyIntObject *) PyMem_MALLOC(sizeof(PyIntBlock));
((PyIntBlock *)p)->next = block_list;
block_list = (PyIntBlock *)p;
//:将PyIntBlock中的PyIntObject数组(objects)转变成单向链表
p = &((PyIntBlock *)p)->objects[0];
q = p + N_INTOBJECTS;
while (--q > p)
// ob_type指向下一个未被使用的PyIntObject。
q->ob_type = (struct _typeobject *)(q-1);
q->ob_type = NULL;
return p + N_INTOBJECTS - 1;
}

不同的PyIntBlock里面的空闲的内存是怎样连接起来构成free_list的呢?这个秘密放在了整数对象垃圾回收的时候,在PyIntObject对象的tp_dealloc操作中可以看到:

[intobject.c]
static void int_dealloc(PyIntObject *v)
{
if (PyInt_CheckExact(v)) {
v->ob_type = (struct _typeobject *)free_list;
free_list = v;
}
else
v->ob_type->tp_free((PyObject *)v);
}

原来PyIntObject对象销毁时,它所占用的内存并不会释放,而是继续被Python使用,进而将free_list表头指向了这个要被销毁的对象上。

总结

  • Python中的int对象就是c语言中long类型数值的扩展
  • 小整数对象[-5, 257]在python中是共享的
  • 整数对象都是从缓冲池中获取的。
  • 整数对象回收时,内存并不会归还给系统,而是将其对象的ob_type指向free_list,供新创建的整数对象使用

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持三水点靠木。

Python 相关文章推荐
Python中正则表达式的用法实例汇总
Aug 18 Python
python操作gmail实例
Jan 14 Python
利用python程序帮大家清理windows垃圾
Jan 15 Python
解决python2.7用pip安装包时出现错误的问题
Jan 23 Python
python实现简单名片管理系统
Nov 30 Python
Python二维码生成识别实例详解
Jul 16 Python
Python 基于wxpy库实现微信添加好友功能(简洁)
Nov 29 Python
Python网络爬虫信息提取mooc代码实例
Mar 06 Python
pytorch 如何使用amp进行混合精度训练
May 24 Python
python-opencv 中值滤波{cv2.medianBlur(src, ksize)}的用法
Jun 05 Python
Python使用PyYAML库读写yaml文件的方法
Apr 06 Python
Python四款GUI图形界面库介绍
Jun 05 Python
python实现两个dict合并与计算操作示例
Jul 01 #Python
Python字符串对象实现原理详解
Jul 01 #Python
Python转换时间的图文方法
Jul 01 #Python
Python列表对象实现原理详解
Jul 01 #Python
win8.1安装Python 2.7版环境图文详解
Jul 01 #Python
Python为何不能用可变对象作为默认参数的值
Jul 01 #Python
浅析Python与Mongodb数据库之间的操作方法
Jul 01 #Python
You might like
深入PHP运行环境配置的详解
2013/06/04 PHP
PHP实现将textarea的值根据回车换行拆分至数组
2015/06/10 PHP
帝国cms常用标签汇总
2015/07/06 PHP
PHP添加图片水印、压缩、剪切的封装类
2015/08/17 PHP
jQuery中的height innerHeight outerHeight区别示例介绍
2014/06/15 Javascript
jquery 页眉单行信息滚动显示实现思路及代码
2014/06/26 Javascript
JavaScript中的索引数组、关联数组和静态数组、动态数组讲解
2014/11/08 Javascript
javascript实现数独解法
2015/03/14 Javascript
JavaScript给url网址进行encode编码的方法
2015/03/18 Javascript
Bootstrap Paginator分页插件使用方法详解
2016/05/30 Javascript
Bootstrap对话框使用实例讲解
2016/09/24 Javascript
可输入文字查找ajax下拉框控件 ComBox的实现方法
2016/10/25 Javascript
基于jQuery实现Tabs选项卡自定义插件
2016/11/21 Javascript
Javascript中for循环语句的几种写法总结对比
2017/01/23 Javascript
webpack学习--webpack经典7分钟入门教程
2017/06/28 Javascript
Angular 2父子组件数据传递之@Input和@Output详解 (上)
2017/07/05 Javascript
ReactNative踩坑之配置调试端口的解决方法
2017/07/28 Javascript
一步步教你利用Canvas对图片进行处理
2017/09/19 Javascript
javascript变量提升和闭包理解
2018/03/12 Javascript
jquery弹窗时禁止body滚动条滚动的例子
2019/09/21 jQuery
vue+element tabs选项卡分页效果
2020/06/29 Javascript
解决vue项目中遇到 Cannot find module ‘chalk‘ 报错的问题
2020/11/05 Javascript
python中cPickle类使用方法详解
2018/08/27 Python
浅谈django的render函数的参数问题
2018/10/16 Python
python类中super() 的使用解析
2019/12/19 Python
PyQt5如何将.ui文件转换为.py文件的实例代码
2020/05/26 Python
python实现密码验证合格程序的思路详解
2020/06/01 Python
ALDO加拿大官网:加拿大女鞋品牌
2018/12/22 全球购物
C&A巴西网上商店:时尚、衣服、手机和鞋子
2020/06/07 全球购物
中年人生感言
2014/02/04 职场文书
学雷锋月活动总结
2014/04/25 职场文书
2016道德模范先进事迹材料
2016/02/26 职场文书
vue前端工程的搭建
2021/03/31 Vue.js
Pandas自定义选项option设置
2021/07/25 Python
python人工智能human learn绘图可创建机器学习模型
2021/11/23 Python
SQL Server删除表中的重复数据
2022/05/25 SQL Server