从Python的源码浅要剖析Python的内存管理


Posted in Python onApril 16, 2015

Python 的内存管理架构(Objects/obmalloc.c):

    _____   ______   ______       ________

   [ int ] [ dict ] [ list ] ... [ string ]       Python core         |

+3 | <----- Object-specific memory -----> | <-- Non-object memory --> |

    _______________________________       |                           |

   [   Python's object allocator   ]      |                           |

+2 | ####### Object memory ####### | <------ Internal buffers ------> |

    ______________________________________________________________    |

   [          Python's raw memory allocator (PyMem_ API)          ]   |

+1 | <----- Python memory (under PyMem manager's control) ------> |   |

    __________________________________________________________________

   [    Underlying general-purpose allocator (ex: C library malloc)   ]

 0 | <------ Virtual memory allocated for the python process -------> |

 

    0. C语言库函数提供的接口

    1. PyMem_*家族,是对 C中的 malloc、realloc和free 简单的封装,提供底层的控制接口。

    2. PyObject_* 家族,高级的内存控制接口。
    3. 对象类型相关的管理接口

PyMem_*

PyMem_家族:低级的内存分配接口(low-level memory allocation interfaces)

Python 对C中的 malloc、realloc和free 提供了简单的封装:

从Python的源码浅要剖析Python的内存管理

为什么要这么多次一举:

  •     不同的C实现对于malloc(0)产生的结果有会所不同,而PyMem_MALLOC(0)会转成malloc(1).
  •     不用的C实现的malloc与free混用会有潜在的问题。python提供封装可以避免这个问题。
  •         Python提供了宏和函数,但是宏无法避免这个问题,故编写扩展是应避免使用宏

源码:

Include/pymem.h

#define PyMem_MALLOC(n) ((size_t)(n) > (size_t)PY_SSIZE_T_MAX ? NULL \
             : malloc((n) ? (n) : 1))
#define PyMem_REALLOC(p, n) ((size_t)(n) > (size_t)PY_SSIZE_T_MAX ? NULL \
              : realloc((p), (n) ? (n) : 1))
#define PyMem_FREE free

  Objects/object.c

/* Python's malloc wrappers (see pymem.h) */

void *
PyMem_Malloc(size_t nbytes)
{
  return PyMem_MALLOC(nbytes);
}
...
除了对C的简单封装外,Python还提供了4个宏

    PyMem_New 和 PyMem_NEW

    PyMem_Resize和 PyMem_RESIZE

它们可以感知类型的大小

#define PyMem_New(type, n) \
 ( ((size_t)(n) > PY_SSIZE_T_MAX / sizeof(type)) ? NULL :   \
    ( (type *) PyMem_Malloc((n) * sizeof(type)) ) )

#define PyMem_Resize(p, type, n) \
 ( (p) = ((size_t)(n) > PY_SSIZE_T_MAX / sizeof(type)) ? NULL :    \
    (type *) PyMem_Realloc((p), (n) * sizeof(type)) )
#define PyMem_Del        PyMem_Free
#define PyMem_DEL        PyMem_FREE
以下涉及的一些函数仍旧是函数和宏同时存在,下划线后全是大写字符的是宏,后面不再特别说明。
PyObject_*

PyObject_*家族,是高级的内存控制接口(high-level object memory interfaces)。

    注意

  •     不要和PyMem_*家族混用!!
  •     除非有特殊的内粗管理要求,否则应该坚持使用PyObject_*

源码

Include/objimpl.h

#define PyObject_New(type, typeobj) \
        ( (type *) _PyObject_New(typeobj) )
#define PyObject_NewVar(type, typeobj, n) \
        ( (type *) _PyObject_NewVar((typeobj), (n)) )

  Objects/object.c

PyObject *
_PyObject_New(PyTypeObject *tp)
{
  PyObject *op;
  op = (PyObject *) PyObject_MALLOC(_PyObject_SIZE(tp));
  if (op == NULL)
    return PyErr_NoMemory();
  return PyObject_INIT(op, tp);
}

PyVarObject *
_PyObject_NewVar(PyTypeObject *tp, Py_ssize_t nitems)
{
  PyVarObject *op;
  const size_t size = _PyObject_VAR_SIZE(tp, nitems);
  op = (PyVarObject *) PyObject_MALLOC(size);
  if (op == NULL)
    return (PyVarObject *)PyErr_NoMemory();
  return PyObject_INIT_VAR(op, tp, nitems);
}

它们执行两项操作:

  1.     分配内存:PyObject_MALLOC
  2.     部分初始化对象:PyObject_INIT和PyObject_INIT_VAR

初始化没什么好看到,但是这个MALLOC就有点复杂无比了...
PyObject_{Malloc、Free}

这个和PyMem_*中的3个可是大不一样了,复杂的厉害!

void * PyObject_Malloc(size_t nbytes)
void * PyObject_Realloc(void *p, size_t nbytes)
void PyObject_Free(void *p)

Python程序运行时频繁地需要创建和销毁小对象,为了避免大量的malloc和free操作,Python使用了内存池的技术。

  •     一系列的 arena(每个管理256KB) 构成一个内存区域的链表
  •     每个 arena 有很多个 pool(每个4KB) 构成
  •     每次内存的申请释放将在一个 pool 内进行

单次申请内存块

当申请大小在 1~256 字节之间的内存时,使用内存池(申请0或257字节以上时,将退而使用我们前面提到的PyMem_Malloc)。

每次申请时,实际分配的空间将按照某个字节数对齐,下表中为8字节(比如PyObject_Malloc(20)字节将分配24字节)。

Request in bytes     Size of allocated block      Size class idx

  ----------------------------------------------------------------

         1-8                     8                       0

         9-16                   16                       1

        17-24                   24                       2

        25-32                   32                       3

        33-40                   40                       4

         ...                   ...                     ...

       241-248                 248                      30

       249-256                 256                      31

 

       0, 257 and up: routed to the underlying allocator.

      

这些参数由一些宏进行控制:

#define ALIGNMENT        8        /* must be 2^N */
/* Return the number of bytes in size class I, as a uint. */
#define INDEX2SIZE(I) (((uint)(I) + 1) << ALIGNMENT_SHIFT)
#define SMALL_REQUEST_THRESHOLD 256

pool

每次申请的内存块都是需要在 pool 中进行分配,一个pool的大小是 4k。由下列宏进行控制:

#define SYSTEM_PAGE_SIZE        (4 * 1024)
#define POOL_SIZE               SYSTEM_PAGE_SIZE        /* must be 2^N */

每个pool的头部的定义如下:

struct pool_header {
  union { block *_padding;
      uint count; } ref;     /* number of allocated blocks  */
  block *freeblock;          /* pool's free list head     */
  struct pool_header *nextpool;    /* next pool of this size class */
  struct pool_header *prevpool;    /* previous pool    ""    */
  uint arenaindex;          /* index into arenas of base adr */
  uint szidx;             /* block size class index    */
  uint nextoffset;          /* bytes to virgin block     */
  uint maxnextoffset;         /* largest valid nextoffset   */
};

注意,其中有个成员 szidx,对应前面列表中最后一列的 Size class idx。这也说明一个问题:每个 pool 只能分配固定大小的内存块(比如,只分配16字节的块,或者只分配24字节的块...)。

要能分配前面列表中各种大小的内存块,必须有多个 pool。同一大小的pool分配完毕,也需要新的pool。多个pool依次构成一个链表
arena

多个pool对象使用被称为 arena 的东西进行管理。

struct arena_object {
  uptr address;
  block* pool_address;
  uint nfreepools;
  uint ntotalpools;
  struct pool_header* freepools;
  struct arena_object* nextarena;
  struct arena_object* prevarena;
};

arean控制的内存的大小由下列宏控制:

#define ARENA_SIZE       (256 << 10)   /* 256KB */

一系列的 arena 构成一个链表。
引用计数与垃圾收集

Python中多数对象的生命周期是通过引用计数来控制的,从而实现了内存的动态管理。

但是引用计数有一个致命的问题:循环引用!

为了打破循环引用,Python引入了垃圾收集技术。

Python 相关文章推荐
Python实现基于HTTP文件传输实例
Nov 08 Python
centos 下面安装python2.7 +pip +mysqld
Nov 18 Python
在Python程序中进行文件读取和写入操作的教程
Apr 28 Python
Python中列表的一些基本操作知识汇总
May 20 Python
深入解析Python中的urllib2模块
Nov 13 Python
Python中字典的浅拷贝与深拷贝用法实例分析
Jan 02 Python
Python实现的绘制三维双螺旋线图形功能示例
Jun 23 Python
Pythony运维入门之Socket网络编程详解
Apr 15 Python
python实现几种归一化方法(Normalization Method)
Jul 31 Python
python实现邮件发送功能
Aug 10 Python
在python3中实现更新界面
Feb 21 Python
Python文件操作及内置函数flush原理解析
Oct 13 Python
用Python实现换行符转换的脚本的教程
Apr 16 #Python
Python下的subprocess模块的入门指引
Apr 16 #Python
Python下的twisted框架入门指引
Apr 15 #Python
Python代码调试的几种方法总结
Apr 15 #Python
详解Python中with语句的用法
Apr 15 #Python
python获取本机外网ip的方法
Apr 15 #Python
python中常用检测字符串相关函数汇总
Apr 15 #Python
You might like
一个目录遍历函数
2006/10/09 PHP
php url地址栏传中文乱码解决方法集合
2010/06/25 PHP
CI框架中集成CKEditor编辑器的教程
2014/06/09 PHP
PHP实现生成唯一编号(36进制的不重复编号)
2014/07/01 PHP
PHP实现简单实用的分页类代码
2016/04/08 PHP
Laravel中log无法写入问题的解决
2017/06/17 PHP
Laravel5.5 手动分页和自定义分页样式的简单实现
2019/10/15 PHP
转自Jquery官方 jQuery1.1.3发布,速度提升800%,体积保持20K
2007/08/19 Javascript
自己写的兼容ie和ff的在线文本编辑器类似ewebeditor
2012/12/12 Javascript
jQuery 生成svg矢量二维码
2016/08/09 Javascript
AngularJS模块详解及示例代码
2016/08/17 Javascript
利用Angularjs中模块ui-route管理状态的方法
2016/12/27 Javascript
vue实现添加标签demo示例代码
2017/01/21 Javascript
Angularjs添加排序查询功能的实例代码
2017/10/24 Javascript
vue.js中实现登录控制的方法示例
2018/04/23 Javascript
微信小程序自定义弹窗wcPop插件
2018/11/19 Javascript
使用 node.js 模仿 Apache 小部分功能
2019/07/07 Javascript
Vue-cli3.X使用px2 rem遇到的问题及解决方法
2019/08/08 Javascript
Vue 构造选项 - 进阶使用说明
2020/08/14 Javascript
Python对文件和目录进行操作的方法(file对象/os/os.path/shutil 模块)
2017/05/08 Python
selenium python浏览器多窗口处理代码示例
2018/01/15 Python
Tornado高并发处理方法实例代码
2018/01/15 Python
Tensorflow实现卷积神经网络的详细代码
2018/05/24 Python
python3的pip路径在哪
2020/06/23 Python
python为什么要安装到c盘
2020/07/20 Python
Python如何实现线程间通信
2020/07/30 Python
高清屏中使用Canvas绘图出现模糊的问题及解决方法
2019/06/03 HTML / CSS
澳大利亚潮流尖端的快时尚品牌:Cotton On
2016/09/26 全球购物
墨尔本照明批发商店:Mica Lighting
2017/12/28 全球购物
英国手机零售商:Carphone Warehouse
2018/06/06 全球购物
安德玛菲律宾官网:Under Armour菲律宾
2020/07/28 全球购物
口腔工艺技术专业毕业生自荐信
2013/09/27 职场文书
事业单位绩效考核实施方案
2014/03/27 职场文书
毕业实习自我鉴定范文2014
2014/09/26 职场文书
病危通知单
2015/04/17 职场文书
暂住证明怎么写
2015/06/19 职场文书