从Python的源码浅要剖析Python的内存管理


Posted in Python onApril 16, 2015

Python 的内存管理架构(Objects/obmalloc.c):

    _____   ______   ______       ________

   [ int ] [ dict ] [ list ] ... [ string ]       Python core         |

+3 | <----- Object-specific memory -----> | <-- Non-object memory --> |

    _______________________________       |                           |

   [   Python's object allocator   ]      |                           |

+2 | ####### Object memory ####### | <------ Internal buffers ------> |

    ______________________________________________________________    |

   [          Python's raw memory allocator (PyMem_ API)          ]   |

+1 | <----- Python memory (under PyMem manager's control) ------> |   |

    __________________________________________________________________

   [    Underlying general-purpose allocator (ex: C library malloc)   ]

 0 | <------ Virtual memory allocated for the python process -------> |

 

    0. C语言库函数提供的接口

    1. PyMem_*家族,是对 C中的 malloc、realloc和free 简单的封装,提供底层的控制接口。

    2. PyObject_* 家族,高级的内存控制接口。
    3. 对象类型相关的管理接口

PyMem_*

PyMem_家族:低级的内存分配接口(low-level memory allocation interfaces)

Python 对C中的 malloc、realloc和free 提供了简单的封装:

从Python的源码浅要剖析Python的内存管理

为什么要这么多次一举:

  •     不同的C实现对于malloc(0)产生的结果有会所不同,而PyMem_MALLOC(0)会转成malloc(1).
  •     不用的C实现的malloc与free混用会有潜在的问题。python提供封装可以避免这个问题。
  •         Python提供了宏和函数,但是宏无法避免这个问题,故编写扩展是应避免使用宏

源码:

Include/pymem.h

#define PyMem_MALLOC(n) ((size_t)(n) > (size_t)PY_SSIZE_T_MAX ? NULL \
             : malloc((n) ? (n) : 1))
#define PyMem_REALLOC(p, n) ((size_t)(n) > (size_t)PY_SSIZE_T_MAX ? NULL \
              : realloc((p), (n) ? (n) : 1))
#define PyMem_FREE free

  Objects/object.c

/* Python's malloc wrappers (see pymem.h) */

void *
PyMem_Malloc(size_t nbytes)
{
  return PyMem_MALLOC(nbytes);
}
...
除了对C的简单封装外,Python还提供了4个宏

    PyMem_New 和 PyMem_NEW

    PyMem_Resize和 PyMem_RESIZE

它们可以感知类型的大小

#define PyMem_New(type, n) \
 ( ((size_t)(n) > PY_SSIZE_T_MAX / sizeof(type)) ? NULL :   \
    ( (type *) PyMem_Malloc((n) * sizeof(type)) ) )

#define PyMem_Resize(p, type, n) \
 ( (p) = ((size_t)(n) > PY_SSIZE_T_MAX / sizeof(type)) ? NULL :    \
    (type *) PyMem_Realloc((p), (n) * sizeof(type)) )
#define PyMem_Del        PyMem_Free
#define PyMem_DEL        PyMem_FREE
以下涉及的一些函数仍旧是函数和宏同时存在,下划线后全是大写字符的是宏,后面不再特别说明。
PyObject_*

PyObject_*家族,是高级的内存控制接口(high-level object memory interfaces)。

    注意

  •     不要和PyMem_*家族混用!!
  •     除非有特殊的内粗管理要求,否则应该坚持使用PyObject_*

源码

Include/objimpl.h

#define PyObject_New(type, typeobj) \
        ( (type *) _PyObject_New(typeobj) )
#define PyObject_NewVar(type, typeobj, n) \
        ( (type *) _PyObject_NewVar((typeobj), (n)) )

  Objects/object.c

PyObject *
_PyObject_New(PyTypeObject *tp)
{
  PyObject *op;
  op = (PyObject *) PyObject_MALLOC(_PyObject_SIZE(tp));
  if (op == NULL)
    return PyErr_NoMemory();
  return PyObject_INIT(op, tp);
}

PyVarObject *
_PyObject_NewVar(PyTypeObject *tp, Py_ssize_t nitems)
{
  PyVarObject *op;
  const size_t size = _PyObject_VAR_SIZE(tp, nitems);
  op = (PyVarObject *) PyObject_MALLOC(size);
  if (op == NULL)
    return (PyVarObject *)PyErr_NoMemory();
  return PyObject_INIT_VAR(op, tp, nitems);
}

它们执行两项操作:

  1.     分配内存:PyObject_MALLOC
  2.     部分初始化对象:PyObject_INIT和PyObject_INIT_VAR

初始化没什么好看到,但是这个MALLOC就有点复杂无比了...
PyObject_{Malloc、Free}

这个和PyMem_*中的3个可是大不一样了,复杂的厉害!

void * PyObject_Malloc(size_t nbytes)
void * PyObject_Realloc(void *p, size_t nbytes)
void PyObject_Free(void *p)

Python程序运行时频繁地需要创建和销毁小对象,为了避免大量的malloc和free操作,Python使用了内存池的技术。

  •     一系列的 arena(每个管理256KB) 构成一个内存区域的链表
  •     每个 arena 有很多个 pool(每个4KB) 构成
  •     每次内存的申请释放将在一个 pool 内进行

单次申请内存块

当申请大小在 1~256 字节之间的内存时,使用内存池(申请0或257字节以上时,将退而使用我们前面提到的PyMem_Malloc)。

每次申请时,实际分配的空间将按照某个字节数对齐,下表中为8字节(比如PyObject_Malloc(20)字节将分配24字节)。

Request in bytes     Size of allocated block      Size class idx

  ----------------------------------------------------------------

         1-8                     8                       0

         9-16                   16                       1

        17-24                   24                       2

        25-32                   32                       3

        33-40                   40                       4

         ...                   ...                     ...

       241-248                 248                      30

       249-256                 256                      31

 

       0, 257 and up: routed to the underlying allocator.

      

这些参数由一些宏进行控制:

#define ALIGNMENT        8        /* must be 2^N */
/* Return the number of bytes in size class I, as a uint. */
#define INDEX2SIZE(I) (((uint)(I) + 1) << ALIGNMENT_SHIFT)
#define SMALL_REQUEST_THRESHOLD 256

pool

每次申请的内存块都是需要在 pool 中进行分配,一个pool的大小是 4k。由下列宏进行控制:

#define SYSTEM_PAGE_SIZE        (4 * 1024)
#define POOL_SIZE               SYSTEM_PAGE_SIZE        /* must be 2^N */

每个pool的头部的定义如下:

struct pool_header {
  union { block *_padding;
      uint count; } ref;     /* number of allocated blocks  */
  block *freeblock;          /* pool's free list head     */
  struct pool_header *nextpool;    /* next pool of this size class */
  struct pool_header *prevpool;    /* previous pool    ""    */
  uint arenaindex;          /* index into arenas of base adr */
  uint szidx;             /* block size class index    */
  uint nextoffset;          /* bytes to virgin block     */
  uint maxnextoffset;         /* largest valid nextoffset   */
};

注意,其中有个成员 szidx,对应前面列表中最后一列的 Size class idx。这也说明一个问题:每个 pool 只能分配固定大小的内存块(比如,只分配16字节的块,或者只分配24字节的块...)。

要能分配前面列表中各种大小的内存块,必须有多个 pool。同一大小的pool分配完毕,也需要新的pool。多个pool依次构成一个链表
arena

多个pool对象使用被称为 arena 的东西进行管理。

struct arena_object {
  uptr address;
  block* pool_address;
  uint nfreepools;
  uint ntotalpools;
  struct pool_header* freepools;
  struct arena_object* nextarena;
  struct arena_object* prevarena;
};

arean控制的内存的大小由下列宏控制:

#define ARENA_SIZE       (256 << 10)   /* 256KB */

一系列的 arena 构成一个链表。
引用计数与垃圾收集

Python中多数对象的生命周期是通过引用计数来控制的,从而实现了内存的动态管理。

但是引用计数有一个致命的问题:循环引用!

为了打破循环引用,Python引入了垃圾收集技术。

Python 相关文章推荐
pyqt4教程之messagebox使用示例分享
Mar 07 Python
python实现ping的方法
Jul 06 Python
在Python的while循环中使用else以及循环嵌套的用法
Oct 14 Python
Python wxPython库Core组件BoxSizer用法示例
Sep 03 Python
selenium2.0中常用的python函数汇总
Aug 05 Python
python随机数分布random均匀分布实例
Nov 27 Python
PyCharm下载和安装详细步骤
Dec 17 Python
python是怎么被发明的
Jun 15 Python
Java如何基于wsimport调用wcf接口
Jun 17 Python
python logging模块的使用
Sep 07 Python
聊聊python中的循环遍历
Sep 07 Python
全网非常详细的pytest配置文件
Jul 15 Python
用Python实现换行符转换的脚本的教程
Apr 16 #Python
Python下的subprocess模块的入门指引
Apr 16 #Python
Python下的twisted框架入门指引
Apr 15 #Python
Python代码调试的几种方法总结
Apr 15 #Python
详解Python中with语句的用法
Apr 15 #Python
python获取本机外网ip的方法
Apr 15 #Python
python中常用检测字符串相关函数汇总
Apr 15 #Python
You might like
wamp服务器访问php非常缓慢的解决过程
2015/07/01 PHP
php通过两层过滤获取留言内容的方法
2016/07/11 PHP
PHP实现百度人脸识别
2019/05/06 PHP
jquery延迟加载外部js实现代码
2013/01/11 Javascript
Jquery 切换不同图片示例代码
2013/12/05 Javascript
jQuery绑定事件不执行但alert后可以正常执行
2014/06/03 Javascript
js实现简单的联动菜单效果
2015/08/19 Javascript
基于Bootstrap使用jQuery实现简单可编辑表格
2016/05/04 Javascript
javascript闭包概念简单解析(推荐)
2016/06/03 Javascript
Node.js Streams文件读写操作详解
2016/07/04 Javascript
Bootstrap零基础入门教程(三)
2016/07/18 Javascript
angularjs实现文字上下无缝滚动特效代码
2016/09/04 Javascript
JScript实现地址选择功能
2017/08/15 Javascript
JavaScript中立即执行函数实例详解
2017/11/04 Javascript
详解一个基于套接字实现长连接的express
2019/03/28 Javascript
简述ES6新增关键字let与var的区别
2019/08/23 Javascript
[39:00]Optic vs VP 2018国际邀请赛淘汰赛BO3 第三场 8.24
2018/08/25 DOTA
python实现rsa加密实例详解
2017/07/19 Python
Python结合ImageMagick实现多张图片合并为一个pdf文件的方法
2018/04/24 Python
python监控文件并且发送告警邮件
2018/06/21 Python
Django中使用 Closure Table 储存无限分级数据
2019/06/06 Python
Pycharm如何打断点的方法步骤
2019/06/13 Python
用python拟合等角螺线的实现示例
2019/12/27 Python
Django 实现将图片转为Base64,然后使用json传输
2020/03/27 Python
python利用Excel读取和存储测试数据完成接口自动化教程
2020/04/30 Python
Python with语句用法原理详解
2020/07/03 Python
html5+svg学习指南之SVG基础知识
2014/12/17 HTML / CSS
在阿联酋购买翻新手机和平板电脑:Teckzu
2021/02/12 全球购物
安全检查管理制度
2014/02/02 职场文书
《圆明园的毁灭》教学反思
2014/02/28 职场文书
办公室班子四风问题对照检查材料
2014/10/04 职场文书
五好文明家庭事迹材料
2014/12/20 职场文书
大学生实习介绍信
2015/05/05 职场文书
2016年11月份红领巾广播稿
2015/12/21 职场文书
青年干部培训班学习心得体会
2016/01/06 职场文书
Elasticsearch 索引操作和增删改查
2022/04/19 Python