Python列表对象实现原理详解


Posted in Python onJuly 01, 2019

Python中的列表基于PyListObject实现,列表支持元素的插入、删除、更新操作,因此PyListObject是一个变长对象(列表的长度随着元素的增加和删除而变长和变短),同时它还是一个可变对象(列表中的元素根据列表的操作而发生变化,内存大小动态的变化),PyListObject的定义:

typedef struct {
# 列表对象引用计数
int ob_refcnt; 
# 列表类型对象 
struct _typeobject *ob_type;
# 列表元素的长度
int ob_size; /* Number of items in variable part */
# 真正存放列表元素容器的指针,list[0] 就是 ob_item[0]
PyObject **ob_item;
# 当前列表可容纳的元素大小
Py_ssize_t allocated;
} PyListObject;

咋一看PyListObject对象的定义非常简单,除了通用对象都有的引用计数(ob_refcnt)、类型信息(ob_type),以及变长对象的长度(ob_size)之外,剩下的只有ob_item,和allocated,ob_item是真正存放列表元素容器的指针,专门有一块内存用来存储列表元素,这块内存的大小就是allocated所能容纳的空间。alloocated是列表所能容纳的元素大小,而且满足条件:

  • 0 <= ob_size <= allocated
  • len(list) == ob_size
  • ob_item == NULL 时 ob_size == allocated == 0

Python列表对象实现原理详解

列表对象的创建

PylistObject对象的是通过函数PyList_New创建而成,接收参数size,该参数用于指定列表对象所能容纳的最大元素个数。

// 列表缓冲池, PyList_MAXFREELIST为80
static PyListObject *free_list[PyList_MAXFREELIST];
//缓冲池当前大小
static int numfree = 0;
PyObject *PyList_New(Py_ssize_t size)
{
PyListObject *op; //列表对象
size_t nbytes; //创建列表对象需要分配的内存大小
if (size < 0) {
PyErr_BadInternalCall();
return NULL;
}
/* Check for overflow without an actual overflow,
* which can cause compiler to optimise out */
if ((size_t)size > PY_SIZE_MAX / sizeof(PyObject *))
return PyErr_NoMemory();
nbytes = size * sizeof(PyObject *);
if (numfree) {
numfree--;
op = free_list[numfree];
_Py_NewReference((PyObject *)op);
} else {
op = PyObject_GC_New(PyListObject, &PyList_Type);
if (op == NULL)
return NULL;
}
if (size <= 0)
op->ob_item = NULL;
else {
op->ob_item = (PyObject **) PyMem_MALLOC(nbytes);
if (op->ob_item == NULL) {
Py_DECREF(op);
return PyErr_NoMemory();
}
memset(op->ob_item, 0, nbytes);
}
# 设置ob_size
Py_SIZE(op) = size;
op->allocated = size;
_PyObject_GC_TRACK(op);
return (PyObject *) op;
}

创建过程大致是:

  1. 检查size参数是否有效,如果小于0,直接返回NULL,创建失败
  2. 检查size参数是否超出Python所能接受的大小,如果大于PY_SIZE_MAX(64位机器为8字节,在32位机器为4字节),内存溢出。
  3. 检查缓冲池free_list是否有可用的对象,有则直接从缓冲池中使用,没有则创建新的PyListObject,分配内存。
  4. 初始化ob_item中的元素的值为Null
  5. 设置PyListObject的allocated和ob_size。

PYLISTOBJECT对象的缓冲池

free_list是PyListObject对象的缓冲池,其大小为80,那么PyListObject对象是什么时候加入到缓冲池free_list的呢?答案在list_dealloc方法中:

static void
list_dealloc(PyListObject *op)
{
Py_ssize_t i;
PyObject_GC_UnTrack(op);
Py_TRASHCAN_SAFE_BEGIN(op)
if (
i = Py_SIZE(op);
while (--i >= 0) {
Py_XDECREF(op->ob_item[i]);
}
PyMem_FREE(op->ob_item);
}
if (numfree < PyList_MAXFREELIST && PyList_CheckExact(op))
free_list[numfree++] = op;
else
Py_TYPE(op)->tp_free((PyObject *)op);
Py_TRASHCAN_SAFE_END(op)
}

当PyListObject对象被销毁的时候,首先将列表中所有元素的引用计数减一,然后释放ob_item占用的内存,只要缓冲池空间还没满,那么就把该PyListObject加入到缓冲池中(此时PyListObject占用的内存并不会正真正回收给系统,下次创建PyListObject优先从缓冲池中获取PyListObject),否则释放PyListObject对象的内存空间。

列表元素插入

设置列表某个位置的值时,如“list[1]=0”,列表的内存结构并不会发生变化,而往列表中插入元素时会改变列表的内存结构:

static int
ins1(PyListObject *self, Py_ssize_t where, PyObject *v)
{
// n是列表元素长度
Py_ssize_t i, n = Py_SIZE(self);
PyObject **items;
if (v == NULL) {
PyErr_BadInternalCall();
return -1;
}
if (n == PY_SSIZE_T_MAX) {
PyErr_SetString(PyExc_OverflowError,
"cannot add more objects to list");
return -1;
}
if (list_resize(self, n+1) == -1)
return -1;
if (where < 0) {
where += n;
if (where < 0)
where = 0;
}
if (where > n)
where = n;
items = self->ob_item;
for (i = n; --i >= where; )
items[i+1] = items[i];
Py_INCREF(v);
items[where] = v;
return 0;
}

相比设置某个列表位置的值来说,插入操作要多一次PyListObject容量大小的调整,逻辑是list_resize,其次是挪动where之后的元素位置。

// newsize: 列表新的长度
static int 
list_resize(PyListObject *self, Py_ssize_t newsize)
{
PyObject **items;
size_t new_allocated;
Py_ssize_t allocated = self->allocated;
if (allocated >= newsize && newsize >= (allocated >> 1)) {
assert(self->ob_item != NULL || newsize == 0);
Py_SIZE(self) = newsize;
return 0;
}
new_allocated = (newsize >> 3) + (newsize < 9 ? 3 : 6);
/* check for integer overflow */
if (new_allocated > PY_SIZE_MAX - newsize) {
PyErr_NoMemory();
return -1;
} else {
new_allocated += newsize;
}
if (newsize == 0)
new_allocated = 0;
items = self->ob_item;
if (new_allocated <= (PY_SIZE_MAX / sizeof(PyObject *)))
PyMem_RESIZE(items, PyObject *, new_allocated);
else
items = NULL;
if (items == NULL) {
PyErr_NoMemory();
return -1;
}
self->ob_item = items;
Py_SIZE(self) = newsize;
self->allocated = new_allocated;
return 0;
}

满足 allocated >= newsize && newsize >= (allocated /2)时,简单改变list的元素长度,PyListObject对象不会重新分配内存空间,否则重新分配内存空间,如果newsize<allocated/2,那么会减缩内存空间,如果newsize>allocated,就会扩大内存空间。当newsize==0时内存空间将缩减为0。

Python列表对象实现原理详解

总结

  • PyListObject缓冲池的创建发生在列表销毁的时候。
  • PyListObject对象的创建分两步:先创建PyListObject对象,然后初始化元素列表为NULL。
  • PyListObject对象的销毁分两步:先销毁PyListObject对象中的元素列表,然后销毁PyListObject本身。
  • PyListObject对象内存的占用空间会根据列表长度的变化而调整。

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持三水点靠木。

Python 相关文章推荐
python开发之IDEL(Python GUI)的使用方法图文详解
Nov 12 Python
Python的装饰器使用详解
Jun 26 Python
Python基于递归算法求最小公倍数和最大公约数示例
Jul 27 Python
python之消除前缀重命名的方法
Oct 21 Python
对PyQt5基本窗口控件 QMainWindow的使用详解
Jun 19 Python
提升python处理速度原理及方法实例
Dec 25 Python
python实现超级玛丽游戏
Mar 18 Python
简单了解Python变量作用域正确使用方法
Jun 12 Python
基于Python的身份证验证识别和数据处理详解
Nov 14 Python
用python对oracle进行简单性能测试
Dec 05 Python
python字典按照value排序方法
Dec 28 Python
关于Python中进度条的六个实用技巧分享
Apr 05 Python
win8.1安装Python 2.7版环境图文详解
Jul 01 #Python
Python为何不能用可变对象作为默认参数的值
Jul 01 #Python
浅析Python与Mongodb数据库之间的操作方法
Jul 01 #Python
Python字典对象实现原理详解
Jul 01 #Python
Python Pandas 获取列匹配特定值的行的索引问题
Jul 01 #Python
Python动态语言与鸭子类型详解
Jul 01 #Python
详解python websocket获取实时数据的几种常见链接方式
Jul 01 #Python
You might like
php 类自动载入的方法
2015/06/03 PHP
PHP MySql增删改查的简单实例
2016/06/21 PHP
百度判断手机终端并自动跳转js代码及使用实例
2014/06/11 Javascript
javascript学习笔记(八)正则表达式
2014/10/08 Javascript
JavaScript中String.prototype用法实例
2015/05/20 Javascript
JavaScript对象数组的排序处理方法
2015/10/21 Javascript
js实现点击每个li节点,都弹出其文本值及修改
2016/12/15 Javascript
JS异步文件分片断点上传的实现思路
2016/12/25 Javascript
微信小程序 页面跳转传递值几种方法详解
2017/01/12 Javascript
Node.js模拟发起http请求从异步转同步的5种用法
2018/09/26 Javascript
彻底弄懂 JavaScript 执行机制
2018/10/23 Javascript
Vue一次性简洁明了引入所有公共组件的方法
2018/11/28 Javascript
微信小程序中使用echarts的实现方法
2019/04/24 Javascript
解决vue单页面应用中动态修改title问题
2019/06/09 Javascript
mui js控制开关状态、修改switch开关的值方法
2019/09/03 Javascript
如何通过shell脚本自动生成vue文件详解
2019/09/10 Javascript
ES6如何用一句代码实现函数的柯里化
2020/01/18 Javascript
JavaScript实现鼠标经过表格某行时此行变色
2020/11/20 Javascript
Python3.x和Python2.x的区别介绍
2013/02/12 Python
本地文件上传到七牛云服务器示例(七牛云存储)
2014/01/11 Python
在Python的Flask框架中使用模版的入门教程
2015/04/20 Python
django定期执行任务(实例讲解)
2017/11/03 Python
Python zip()函数用法实例分析
2018/03/17 Python
关于tf.TFRecordReader()函数的用法解析
2020/02/17 Python
Python生成六万个随机,唯一的8位数字和数字组成的随机字符串实例
2020/03/03 Python
Python实现多线程下载脚本的示例代码
2020/04/03 Python
pandas apply多线程实现代码
2020/08/17 Python
python关于倒排列的知识点总结
2020/10/13 Python
python工具快速为音视频自动生成字幕(使用说明)
2021/01/27 Python
Giglio美国站:意大利奢侈品购物网
2018/02/10 全球购物
anello泰国官方网站:日本流行包包品牌
2019/08/08 全球购物
德国受欢迎的旅游和休闲网站:lastminute.de
2019/09/23 全球购物
高分子材料个人求职信范文
2013/09/25 职场文书
广告设计应届生求职信
2014/03/01 职场文书
中国入世承诺
2014/04/01 职场文书
委托书英文
2015/01/28 职场文书