python使用__slots__让你的代码更加节省内存


Posted in Python onSeptember 05, 2018

前言

在默认情况下,Python的新类和旧类的实例都有一个字典来存储属性值。这对于那些没有实例属性的对象来说太浪费空间了,当需要创建大量实例的时候,这个问题变得尤为突出。

因此这种默认的做法可以通过在新式类中定义了一个__slots__属性从而得到了解决。__slots__声明中包含若干实例变量,并为每个实例预留恰好足够的空间来保存每个变量,因此没有为每个实例都创建一个字典,从而节省空间。

本文主要介绍了关于python使用__slots__让你的代码更加节省内存的相关内容,分享出来供大家参考学习,下面话不多说了,来一起看看详细的介绍吧

现在来说说python中dict为什么比list浪费内存?

和list相比,dict 查找和插入的速度极快,不会随着key的增加而增加;dict需要占用大量的内存,内存浪费多。

而list查找和插入的时间随着元素的增加而增加;占用空间小,浪费的内存很少。

python解释器是Cpython,这两个数据结构应该对应C的哈希表和数组。因为哈希表需要额外内存记录映射关系,而数组只需要通过索引就能计算出下一个节点的位置,所以哈希表占用的内存比数组大,也就是dict比list占用的内存更大。

如果想更加详细了解,可以查看C的源代码。python官方链接:https://www.python.org/downloads/source/

如下代码是我从python官方截取的代码片段:

List 源码:

typedef struct {
 PyObject_VAR_HEAD
 /* Vector of pointers to list elements. list[0] is ob_item[0], etc. */
 PyObject **ob_item;
 
 /* ob_item contains space for 'allocated' elements. The number
 * currently in use is ob_size.
 * Invariants:
 * 0 <= ob_size <= allocated
 * len(list) == ob_size
 * ob_item == NULL implies ob_size == allocated == 0
 * list.sort() temporarily sets allocated to -1 to detect mutations.
 *
 * Items must normally not be NULL, except during construction when
 * the list is not yet visible outside the function that builds it.
 */
 Py_ssize_t allocated;
} PyListObject;

Dict源码:

/* PyDict_MINSIZE is the minimum size of a dictionary. This many slots are
 * allocated directly in the dict object (in the ma_smalltable member).
 * It must be a power of 2, and at least 4. 8 allows dicts with no more
 * than 5 active entries to live in ma_smalltable (and so avoid an
 * additional malloc); instrumentation suggested this suffices for the
 * majority of dicts (consisting mostly of usually-small instance dicts and
 * usually-small dicts created to pass keyword arguments).
 */
#define PyDict_MINSIZE 8
 
typedef struct {
 /* Cached hash code of me_key. Note that hash codes are C longs.
 * We have to use Py_ssize_t instead because dict_popitem() abuses
 * me_hash to hold a search finger.
 */
 Py_ssize_t me_hash;
 PyObject *me_key;
 PyObject *me_value;
} PyDictEntry;
 
/*
To ensure the lookup algorithm terminates, there must be at least one Unused
slot (NULL key) in the table.
The value ma_fill is the number of non-NULL keys (sum of Active and Dummy);
ma_used is the number of non-NULL, non-dummy keys (== the number of non-NULL
values == the number of Active items).
To avoid slowing down lookups on a near-full table, we resize the table when
it's two-thirds full.
*/
typedef struct _dictobject PyDictObject;
struct _dictobject {
 PyObject_HEAD
 Py_ssize_t ma_fill; /* # Active + # Dummy */
 Py_ssize_t ma_used; /* # Active */
 
 /* The table contains ma_mask + 1 slots, and that's a power of 2.
 * We store the mask instead of the size because the mask is more
 * frequently needed.
 */
 Py_ssize_t ma_mask;
 
 /* ma_table points to ma_smalltable for small tables, else to
 * additional malloc'ed memory. ma_table is never NULL! This rule
 * saves repeated runtime null-tests in the workhorse getitem and
 * setitem calls.
 */
 PyDictEntry *ma_table;
 PyDictEntry *(*ma_lookup)(PyDictObject *mp, PyObject *key, long hash);
 PyDictEntry ma_smalltable[PyDict_MINSIZE];
};

PyObject_HEAD 源码:

#ifdef Py_TRACE_REFS
/* Define pointers to support a doubly-linked list of all live heap objects. */
#define _PyObject_HEAD_EXTRA  \
 struct _object *_ob_next;  \
 struct _object *_ob_prev;
 
#define _PyObject_EXTRA_INIT 0, 0,
 
#else
#define _PyObject_HEAD_EXTRA
#define _PyObject_EXTRA_INIT
#endif
 
/* PyObject_HEAD defines the initial segment of every PyObject. */
#define PyObject_HEAD   \
 _PyObject_HEAD_EXTRA  \
 Py_ssize_t ob_refcnt;  \
 struct _typeobject *ob_type;

PyObject_VAR_HEAD 源码:

/* PyObject_VAR_HEAD defines the initial segment of all variable-size
 * container objects. These end with a declaration of an array with 1
 * element, but enough space is malloc'ed so that the array actually
 * has room for ob_size elements. Note that ob_size is an element count,
 * not necessarily a byte count.
 */
#define PyObject_VAR_HEAD  \
 PyObject_HEAD   \
 Py_ssize_t ob_size; /* Number of items in variable part */

现在知道了dict为什么比list 占用的内存空间更大。接下来如何让你的类更加的节省内存。

其实有两种解决方案:

第一种是使用__slots__ ;另外一种是使用Collection.namedtuple 实现。

首先用标准的方式写一个类:

#!/usr/bin/env python

class Foobar(object):
 def __init__(self, x):
 self.x = x

@profile
def main():
 f = [Foobar(42) for i in range(1000000)]

if __name__ == "__main__":
 main()

然后,创建一个类Foobar(),然后实例化100W次。通过@profile查看内存使用情况。

运行结果:

python使用__slots__让你的代码更加节省内存

该代码共使用了372M内存。

接下来通过__slots__代码实现该代码:

#!/usr/bin/env python

class Foobar(object):
 __slots__ = 'x'
 def __init__(self, x):
 self.x = x
@profile
def main():
 f = [Foobar(42) for i in range(1000000)]

if __name__ == "__main__":
 main()

运行结果:

python使用__slots__让你的代码更加节省内存

使用__slots__使用了91M内存,比使用__dict__存储属性值节省了4倍。

其实使用collection模块的namedtuple也可以实现__slots__相同的功能。namedtuple其实就是继承自tuple,同时也因为__slots__的值被设置成了一个空tuple以避免创建__dict__。

看看collection是如何实现的:

python使用__slots__让你的代码更加节省内存

collection 和普通创建类方式相比,也节省了不少的内存。所在在确定类的属性值固定的情况下,可以使用__slots__方式对内存进行优化。但是这项技术不应该被滥用于静态类或者其他类似场合,那不是python程序的精神所在。

总结

以上就是这篇文章的全部内容了,希望本文的内容对大家的学习或者工作具有一定的参考学习价值,如果有疑问大家可以留言交流,谢谢大家对三水点靠木的支持。

Python 相关文章推荐
Python 自动补全(vim)
Nov 30 Python
Python实现线程池代码分享
Jun 21 Python
Python中常用操作字符串的函数与方法总结
Feb 04 Python
Django中url的反向查询的方法
Mar 14 Python
Python开发的十个小贴士和技巧及长常犯错误
Sep 27 Python
Python设计模式之职责链模式原理与用法实例分析
Jan 11 Python
情人节快乐! python绘制漂亮玫瑰
Aug 18 Python
python用match()函数爬数据方法详解
Jul 23 Python
Python-openCV读RGB通道图实例
Jan 17 Python
python GUI库图形界面开发之PyQt5线程类QThread详细使用方法
Feb 26 Python
使用Python发现隐藏的wifi
Mar 04 Python
基于Python实现将列表数据生成折线图
Mar 23 Python
Python中__slots__属性介绍与基本使用方法
Sep 05 #Python
python使用xlrd和xlwt读写Excel文件的实例代码
Sep 05 #Python
python 3调用百度OCR API实现剪贴板文字识别
Sep 04 #Python
Python实现监控键盘鼠标操作示例【基于pyHook与pythoncom模块】
Sep 04 #Python
Python使用pyautogui模块实现自动化鼠标和键盘操作示例
Sep 04 #Python
Python PyAutoGUI模块控制鼠标和键盘实现自动化任务详解
Sep 04 #Python
selenium+python实现自动化登录的方法
Sep 04 #Python
You might like
SESSION信息保存在哪个文件目录下以及能够用来保存什么类型的数据
2012/06/17 PHP
php代码书写习惯优化小结
2013/06/20 PHP
ThinkPHP单字母函数(快捷方法)使用总结
2014/07/23 PHP
一个php生成16位随机数的代码(两种方法)
2014/09/16 PHP
php生成图片验证码
2015/06/09 PHP
jQuery中(function(){})()执行顺序的理解
2013/03/05 Javascript
Javascript的时间戳和php的时间戳转换注意事项
2013/04/12 Javascript
js实现收缩菜单效果实例代码
2013/10/30 Javascript
学习JavaScript设计模式之迭代器模式
2016/01/19 Javascript
Jquery表单验证失败后不提交的解决方法
2016/10/18 Javascript
基于javascript实现的快速排序
2016/12/02 Javascript
jQuery md5加密插件jQuery.md5.js用法示例
2018/08/24 jQuery
后台使用freeMarker和前端使用vue的方法及遇到的问题
2019/06/13 Javascript
js+canvas实现纸牌游戏
2020/03/16 Javascript
Python中处理字符串的相关的len()方法的使用简介
2015/05/19 Python
在python中使用正则表达式查找可嵌套字符串组
2017/10/24 Python
使用python爬取微博数据打造一颗“心”
2019/06/28 Python
python防止随意修改类属性的实现方法
2019/08/21 Python
python线程定时器Timer实现原理解析
2019/11/30 Python
Python正则表达式学习小例子
2020/03/03 Python
Python面向对象程序设计之私有变量,私有方法原理与用法分析
2020/03/23 Python
Python爬虫requests库多种用法实例
2020/05/28 Python
什么是Python变量作用域
2020/06/03 Python
Python Request类源码实现方法及原理解析
2020/08/17 Python
计算机大学生的自我评价
2013/10/15 职场文书
团代会主持词
2014/04/02 职场文书
社区工作者演讲稿
2014/05/23 职场文书
最美乡村医生事迹材料
2014/06/02 职场文书
亚运会口号
2014/06/20 职场文书
质检员岗位职责范本
2015/04/07 职场文书
幼儿园六一主持词
2015/06/30 职场文书
运动会通讯稿50字
2015/07/20 职场文书
谢师宴家长致辞
2015/07/27 职场文书
MySQL基础快速入门知识总结(附思维导图)
2021/09/25 MySQL
Python自动化工具之实现Excel转Markdown表格
2022/04/08 Python
Win11如何默认打开软件界面最大化?Win11默认打开软件界面最大化的方法
2022/07/15 数码科技