从Python的源码浅要剖析Python的内存管理


Posted in Python onApril 16, 2015

Python 的内存管理架构(Objects/obmalloc.c):

    _____   ______   ______       ________

   [ int ] [ dict ] [ list ] ... [ string ]       Python core         |

+3 | <----- Object-specific memory -----> | <-- Non-object memory --> |

    _______________________________       |                           |

   [   Python's object allocator   ]      |                           |

+2 | ####### Object memory ####### | <------ Internal buffers ------> |

    ______________________________________________________________    |

   [          Python's raw memory allocator (PyMem_ API)          ]   |

+1 | <----- Python memory (under PyMem manager's control) ------> |   |

    __________________________________________________________________

   [    Underlying general-purpose allocator (ex: C library malloc)   ]

 0 | <------ Virtual memory allocated for the python process -------> |

 

    0. C语言库函数提供的接口

    1. PyMem_*家族,是对 C中的 malloc、realloc和free 简单的封装,提供底层的控制接口。

    2. PyObject_* 家族,高级的内存控制接口。
    3. 对象类型相关的管理接口

PyMem_*

PyMem_家族:低级的内存分配接口(low-level memory allocation interfaces)

Python 对C中的 malloc、realloc和free 提供了简单的封装:

从Python的源码浅要剖析Python的内存管理

为什么要这么多次一举:

  •     不同的C实现对于malloc(0)产生的结果有会所不同,而PyMem_MALLOC(0)会转成malloc(1).
  •     不用的C实现的malloc与free混用会有潜在的问题。python提供封装可以避免这个问题。
  •         Python提供了宏和函数,但是宏无法避免这个问题,故编写扩展是应避免使用宏

源码:

Include/pymem.h

#define PyMem_MALLOC(n) ((size_t)(n) > (size_t)PY_SSIZE_T_MAX ? NULL \
             : malloc((n) ? (n) : 1))
#define PyMem_REALLOC(p, n) ((size_t)(n) > (size_t)PY_SSIZE_T_MAX ? NULL \
              : realloc((p), (n) ? (n) : 1))
#define PyMem_FREE free

  Objects/object.c

/* Python's malloc wrappers (see pymem.h) */

void *
PyMem_Malloc(size_t nbytes)
{
  return PyMem_MALLOC(nbytes);
}
...
除了对C的简单封装外,Python还提供了4个宏

    PyMem_New 和 PyMem_NEW

    PyMem_Resize和 PyMem_RESIZE

它们可以感知类型的大小

#define PyMem_New(type, n) \
 ( ((size_t)(n) > PY_SSIZE_T_MAX / sizeof(type)) ? NULL :   \
    ( (type *) PyMem_Malloc((n) * sizeof(type)) ) )

#define PyMem_Resize(p, type, n) \
 ( (p) = ((size_t)(n) > PY_SSIZE_T_MAX / sizeof(type)) ? NULL :    \
    (type *) PyMem_Realloc((p), (n) * sizeof(type)) )
#define PyMem_Del        PyMem_Free
#define PyMem_DEL        PyMem_FREE
以下涉及的一些函数仍旧是函数和宏同时存在,下划线后全是大写字符的是宏,后面不再特别说明。
PyObject_*

PyObject_*家族,是高级的内存控制接口(high-level object memory interfaces)。

    注意

  •     不要和PyMem_*家族混用!!
  •     除非有特殊的内粗管理要求,否则应该坚持使用PyObject_*

源码

Include/objimpl.h

#define PyObject_New(type, typeobj) \
        ( (type *) _PyObject_New(typeobj) )
#define PyObject_NewVar(type, typeobj, n) \
        ( (type *) _PyObject_NewVar((typeobj), (n)) )

  Objects/object.c

PyObject *
_PyObject_New(PyTypeObject *tp)
{
  PyObject *op;
  op = (PyObject *) PyObject_MALLOC(_PyObject_SIZE(tp));
  if (op == NULL)
    return PyErr_NoMemory();
  return PyObject_INIT(op, tp);
}

PyVarObject *
_PyObject_NewVar(PyTypeObject *tp, Py_ssize_t nitems)
{
  PyVarObject *op;
  const size_t size = _PyObject_VAR_SIZE(tp, nitems);
  op = (PyVarObject *) PyObject_MALLOC(size);
  if (op == NULL)
    return (PyVarObject *)PyErr_NoMemory();
  return PyObject_INIT_VAR(op, tp, nitems);
}

它们执行两项操作:

  1.     分配内存:PyObject_MALLOC
  2.     部分初始化对象:PyObject_INIT和PyObject_INIT_VAR

初始化没什么好看到,但是这个MALLOC就有点复杂无比了...
PyObject_{Malloc、Free}

这个和PyMem_*中的3个可是大不一样了,复杂的厉害!

void * PyObject_Malloc(size_t nbytes)
void * PyObject_Realloc(void *p, size_t nbytes)
void PyObject_Free(void *p)

Python程序运行时频繁地需要创建和销毁小对象,为了避免大量的malloc和free操作,Python使用了内存池的技术。

  •     一系列的 arena(每个管理256KB) 构成一个内存区域的链表
  •     每个 arena 有很多个 pool(每个4KB) 构成
  •     每次内存的申请释放将在一个 pool 内进行

单次申请内存块

当申请大小在 1~256 字节之间的内存时,使用内存池(申请0或257字节以上时,将退而使用我们前面提到的PyMem_Malloc)。

每次申请时,实际分配的空间将按照某个字节数对齐,下表中为8字节(比如PyObject_Malloc(20)字节将分配24字节)。

Request in bytes     Size of allocated block      Size class idx

  ----------------------------------------------------------------

         1-8                     8                       0

         9-16                   16                       1

        17-24                   24                       2

        25-32                   32                       3

        33-40                   40                       4

         ...                   ...                     ...

       241-248                 248                      30

       249-256                 256                      31

 

       0, 257 and up: routed to the underlying allocator.

      

这些参数由一些宏进行控制:

#define ALIGNMENT        8        /* must be 2^N */
/* Return the number of bytes in size class I, as a uint. */
#define INDEX2SIZE(I) (((uint)(I) + 1) << ALIGNMENT_SHIFT)
#define SMALL_REQUEST_THRESHOLD 256

pool

每次申请的内存块都是需要在 pool 中进行分配,一个pool的大小是 4k。由下列宏进行控制:

#define SYSTEM_PAGE_SIZE        (4 * 1024)
#define POOL_SIZE               SYSTEM_PAGE_SIZE        /* must be 2^N */

每个pool的头部的定义如下:

struct pool_header {
  union { block *_padding;
      uint count; } ref;     /* number of allocated blocks  */
  block *freeblock;          /* pool's free list head     */
  struct pool_header *nextpool;    /* next pool of this size class */
  struct pool_header *prevpool;    /* previous pool    ""    */
  uint arenaindex;          /* index into arenas of base adr */
  uint szidx;             /* block size class index    */
  uint nextoffset;          /* bytes to virgin block     */
  uint maxnextoffset;         /* largest valid nextoffset   */
};

注意,其中有个成员 szidx,对应前面列表中最后一列的 Size class idx。这也说明一个问题:每个 pool 只能分配固定大小的内存块(比如,只分配16字节的块,或者只分配24字节的块...)。

要能分配前面列表中各种大小的内存块,必须有多个 pool。同一大小的pool分配完毕,也需要新的pool。多个pool依次构成一个链表
arena

多个pool对象使用被称为 arena 的东西进行管理。

struct arena_object {
  uptr address;
  block* pool_address;
  uint nfreepools;
  uint ntotalpools;
  struct pool_header* freepools;
  struct arena_object* nextarena;
  struct arena_object* prevarena;
};

arean控制的内存的大小由下列宏控制:

#define ARENA_SIZE       (256 << 10)   /* 256KB */

一系列的 arena 构成一个链表。
引用计数与垃圾收集

Python中多数对象的生命周期是通过引用计数来控制的,从而实现了内存的动态管理。

但是引用计数有一个致命的问题:循环引用!

为了打破循环引用,Python引入了垃圾收集技术。

Python 相关文章推荐
小结Python用fork来创建子进程注意事项
Jul 03 Python
Python调用SQLPlus来操作和解析Oracle数据库的方法
Apr 09 Python
python简单实现获取当前时间
Aug 27 Python
Python开发中爬虫使用代理proxy抓取网页的方法示例
Sep 26 Python
python构建深度神经网络(续)
Mar 10 Python
TensorFlow打印tensor值的实现方法
Jul 27 Python
python requests爬取高德地图数据的实例
Nov 10 Python
Python cv2 图像自适应灰度直方图均衡化处理方法
Dec 07 Python
python 多个参数不为空校验方法
Feb 14 Python
Python 面向对象之封装、继承、多态操作实例分析
Nov 21 Python
python3.6连接mysql数据库及增删改查操作详解
Feb 10 Python
解决pycharm导入本地py文件时,模块下方出现红色波浪线的问题
Jun 01 Python
用Python实现换行符转换的脚本的教程
Apr 16 #Python
Python下的subprocess模块的入门指引
Apr 16 #Python
Python下的twisted框架入门指引
Apr 15 #Python
Python代码调试的几种方法总结
Apr 15 #Python
详解Python中with语句的用法
Apr 15 #Python
python获取本机外网ip的方法
Apr 15 #Python
python中常用检测字符串相关函数汇总
Apr 15 #Python
You might like
搜索引擎技术核心揭密
2006/10/09 PHP
PHP脚本的10个技巧(1)
2006/10/09 PHP
javascript 短路法代码精简
2009/08/20 Javascript
JQuery对checkbox操作 (循环获取)
2011/05/20 Javascript
jquery实现图片裁剪思路及实现
2013/08/16 Javascript
让网页跳转到指定位置的jquery代码非书签
2013/09/06 Javascript
兼容IE、firefox以及chrome的js获取时间(getFullYear)
2014/07/04 Javascript
jquery操作checkbox示例分享
2014/07/21 Javascript
js的window.showModalDialog及window.open用法实例分析
2015/01/29 Javascript
jquery实现不包含当前项的选择器实例
2015/06/25 Javascript
js实现文本框宽度自适应文本宽度的方法
2015/08/13 Javascript
JavaScript获取客户端IP的方法(新方法)
2016/03/11 Javascript
jquery单击文字或图片内容放大并居中显示
2017/06/23 jQuery
微信公众号H5支付接口调用方法
2019/01/10 Javascript
vue-cli webpack配置文件分析
2019/05/20 Javascript
JavaScript之数组扁平化详解
2019/06/03 Javascript
JS运算符简单用法示例
2020/01/19 Javascript
vue 子组件修改data或调用操作
2020/08/07 Javascript
[02:17]TI4西雅图DOTA2前线报道 啸天mik夫妻档解说
2014/07/08 DOTA
python命令行参数解析OptionParser类用法实例
2014/10/09 Python
Windows上使用virtualenv搭建Python+Flask开发环境
2016/06/07 Python
Python实现购物车功能的方法分析
2017/11/10 Python
python+matplotlib演示电偶极子实例代码
2018/01/12 Python
Python实现PS滤镜特效之扇形变换效果示例
2018/01/26 Python
python事件驱动event实现详解
2018/11/21 Python
50行Python代码实现视频中物体颜色识别和跟踪(必须以红色为例)
2019/11/20 Python
python Opencv计算图像相似度过程解析
2019/12/03 Python
python实现按关键字筛选日志文件
2019/12/24 Python
Python xmltodict模块安装及代码实例
2020/10/05 Python
html5中的input新属性range使用记录
2014/09/05 HTML / CSS
市场安全管理制度
2014/01/26 职场文书
《分一分》教学反思
2014/04/13 职场文书
竞选卫生委员演讲稿
2014/04/28 职场文书
升学宴家长致辞
2015/07/27 职场文书
python爬虫selenium模块详解
2021/03/30 Python
vue中div禁止点击事件的实现
2022/04/02 Vue.js