关于Python内存分配时的小秘密分享


Posted in Python onSeptember 05, 2019

前言

Python 中的sys 模块极为基础而重要,它主要提供了一些给解释器使用(或由它维护)的变量,以及一些与解释器强交互的函数。

本文将会频繁地使用该模块的getsizeof() 方法,因此,我先简要介绍一下:

  • 该方法用于获取一个对象的字节大小(bytes)
  • 它只计算直接占用的内存,而不计算对象内所引用对象的内存

这里有个直观的例子:

import sys

a = [1, 2]
b = [a, a] # 即 [[1, 2], [1, 2]]

# a、b 都只有两个元素,所以直接占用的大小相等
sys.getsizeof(a) # 结果:80
sys.getsizeof(b) # 结果:80

上例说明了一件事:一个静态创建的列表,如果只包含两个元素,那它自身占用的内存就是 80 字节,不管其元素所指向的对象是什么。

好了,拥有这把测量工具,我们就来探究一下 Python 的内置对象都藏了哪些小秘密吧。

关于Python内存分配时的小秘密分享

1、空对象不是“空”的!

对于我们熟知的一些空对象,例如空字符串、空列表、空字典等等,不知道大家是否曾好奇过,是否曾思考过这些问题:空的对象是不是不占用内存呢?如果占内存,那占用多少呢?为什么是这样分配的呢?

直接上代码吧,一起来看看几类基本数据结构的空对象的大小:

import sys
sys.getsizeof("")  # 49
sys.getsizeof([])  # 64
sys.getsizeof(())  # 48
sys.getsizeof(set()) # 224
sys.getsizeof(dict()) # 240

# 作为参照:
sys.getsizeof(1)  # 28
sys.getsizeof(True) # 28

可见,虽然都是空对象,但是这些对象在内存分配上并不为“空”,而且分配得还挺大(记住这几个数字哦,后面会考)。

排一下序:基础数字<空元组 < 空字符串 < 空列表 < 空集合 < 空字典。

这个小秘密该怎么解释呢?

因为这些空对象都是容器,我们可以抽象地理解:它们的一部分内存用于创建容器的骨架、记录容器的信息(如引用计数、使用量信息等等)、还有一部分内存则是预分配的。

2、内存扩充不是均匀的!

空对象并不为空,一部分原因是 Python 解释器为它们预分配了一些初始空间。在不超出初始内存的情况下,每次新增元素,就使用已有内存,因而避免了再去申请新的内存。

那么,如果初始内存被分配完之后,新的内存是怎么分配的呢?

import sys
letters = "abcdefghijklmnopqrstuvwxyz"

a = []
for i in letters:
 a.append(i)
 print(f'{len(a)}, sys.getsizeof(a) = {sys.getsizeof(a)}')
 
b = set()
for j in letters:
 b.add(j)
 print(f'{len(b)}, sys.getsizeof(b) = {sys.getsizeof(b)}')

c = dict()
for k in letters:
 c[k] = k
 print(f'{len(c)}, sys.getsizeof(c) = {sys.getsizeof(c)}')

分别给三类可变对象添加 26 个元素,看看结果如何:

关于Python内存分配时的小秘密分享

由此能看出可变对象在扩充时的秘密:

  • 超额分配机制: 申请新内存时并不是按需分配的,而是多分配一些,因此当再添加少量元素时,不需要马上去申请新内存
  • 非均匀分配机制: 三类对象申请新内存的频率是不同的,而同一类对象每次超额分配的内存并不是均匀的,而是逐渐扩大的

3、列表不等于列表!

以上的可变对象在扩充时,有相似的分配机制,在动态扩容时可明显看出效果。

那么,静态创建的对象是否也有这样的分配机制呢?它跟动态扩容比,是否有所区别呢?

先看看集合与字典:

# 静态创建对象
set_1 = {1, 2, 3, 4}
set_2 = {1, 2, 3, 4, 5}
dict_1 = {'a':1, 'b':2, 'c':3, 'd':4, 'e':5}
dict_2 = {'a':1, 'b':2, 'c':3, 'd':4, 'e':5, 'f':6}

sys.getsizeof(set_1) # 224
sys.getsizeof(set_2) # 736
sys.getsizeof(dict_1) # 240
sys.getsizeof(dict_2) # 368

看到这个结果,再对比上一节的截图,可以看出:在元素个数相等时,静态创建的集合/字典所占的内存跟动态扩容时完全一样。

这个结论是否适用于列表对象呢?一起看看:

list_1 = ['a', 'b']
list_2 = ['a', 'b', 'c']
list_3 = ['a', 'b', 'c', 'd']
list_4 = ['a', 'b', 'c', 'd', 'e']

sys.getsizeof(list_1) # 80
sys.getsizeof(list_2) # 88
sys.getsizeof(list_3) # 96
sys.getsizeof(list_4) # 104

上一节的截图显示,列表在前 4 个元素时都占 96 字节,在 5 个元素时占 128 字节,与这里明显矛盾。

所以,这个秘密昭然若揭:在元素个数相等时,静态创建的列表所占的内存有可能小于动态扩容时的内存!

也就是说,这两种列表看似相同,实际却不同!列表不等于列表!

4、消减元素并不会释放内存!

前面提到了,扩充可变对象时,可能会申请新的内存。

那么,如果反过来缩减可变对象,减掉一些元素后,新申请的内存是否会自动回收掉呢?

import sys
a = [1, 2, 3, 4]
sys.getsizeof(a) # 初始值:96
a.append(5)  # 扩充后:[1, 2, 3, 4, 5]
sys.getsizeof(a) # 扩充后:128
a.pop()   # 缩减后:[1, 2, 3, 4]
sys.getsizeof(a) # 缩减后:128

如代码所示,列表在一扩一缩后,虽然回到了原样,但是所占用的内存空间可没有自动释放啊。其它的可变对象同理。

这就是 Python 的小秘密了,“胖子无法减重原理” :瘦子变胖容易,缩减身型也容易,但是体重减不掉,哈哈~~~

5、空字典不等于空字典!

使用 pop() 方法,只会缩减可变对象中的元素,但并不会释放已申请的内存空间。

还有个 clear() 方法,它会清空可变对象的所有元素,让我们试试看吧:

import sys
a = [1, 2, 3]
b = {1, 2, 3}
c = {'a':1, 'b':2, 'c':3}

sys.getsizeof(a) # 88
sys.getsizeof(b) # 224
sys.getsizeof(c) # 240

a.clear()  # 清空后:[]
b.clear()  # 清空后:set()
c.clear()  # 清空后:{},也即 dict()

调用 clear() 方法,我们就获得了几个空对象。

在第一小节里,它们的内存大小已经被查验过了。(前面说过会考的,请默写 回看下)

但是,如果这时再去查验的话,你会惊讶地发现,这些空对象的大小跟前面查的并不完全一样!

# 承接前面的清空操作:
sys.getsizeof(a) # 64
sys.getsizeof(b) # 224
sys.getsizeof(c) # 72

空列表与空元组的大小不变,然而空字典(72)竟然比前面的空字典(240)要小很多!

也就是说,列表与元组在清空元素后,回到起点不变初心,然而,字典这家伙却是“赔了夫人又折兵”,不仅把“吃”进去的全吐出来了,还把自己的老本给亏掉了!

字典的这个秘密藏得挺深的,说实话我也是刚刚获知,百思不得其解……

以上就是 Python 在分配内存时的几个小秘密啦,看完之后,你是否觉得涨见识了呢?

你想明白了几个呢,又产生了多少新的谜团呢?欢迎留言一起交流哦~

对于那些没有充分解释的小秘密,今后我们再慢慢揭秘……

总结

以上就是这篇文章的全部内容了,希望本文的内容对大家的学习或者工作具有一定的参考学习价值,谢谢大家对三水点靠木的支持。

Python 相关文章推荐
利用一个简单的例子窥探CPython内核的运行机制
Mar 30 Python
Windows系统下使用flup搭建Nginx和Python环境的方法
Dec 25 Python
Python基于Pymssql模块实现连接SQL Server数据库的方法详解
Jul 20 Python
Python中如何优雅的合并两个字典(dict)方法示例
Aug 09 Python
Python 3.x读写csv文件中数字的方法示例
Aug 29 Python
Python数据结构之顺序表的实现代码示例
Nov 15 Python
Python 获得命令行参数的方法(推荐)
Jan 24 Python
Python 网络编程之UDP发送接收数据功能示例【基于socket套接字】
Oct 11 Python
python实现简单学生信息管理系统
Apr 09 Python
简单了解pytest测试框架setup和tearDown
Apr 14 Python
浅谈python opencv对图像颜色通道进行加减操作溢出
Jun 03 Python
Sentry错误日志监控使用方法解析
Nov 12 Python
python global关键字的用法详解
Sep 05 #Python
python requests证书问题解决
Sep 05 #Python
Python使用scipy模块实现一维卷积运算示例
Sep 05 #Python
Python图像处理模块ndimage用法实例分析
Sep 05 #Python
Pycharm+django2.2+python3.6+MySQL实现简单的考试报名系统
Sep 05 #Python
PyCharm搭建Spark开发环境的实现步骤
Sep 05 #Python
浅谈Python_Openpyxl使用(最全总结)
Sep 05 #Python
You might like
PHP 常用函数库和一些实用小技巧
2009/01/01 PHP
php cookie 登录验证示例代码
2009/03/16 PHP
PHP与MYSQL中UTF8 中文排序示例代码
2014/10/23 PHP
php找出指定范围内回文数且平方根也是回文数的方法
2015/03/23 PHP
PHP Try-catch 语句使用技巧
2016/02/28 PHP
PHP __call()方法实现委托示例
2019/05/20 PHP
帮助避免错误的Javascript陷阱清单
2009/05/31 Javascript
Three.js源码阅读笔记(物体是如何组织的)
2012/12/27 Javascript
JavaScript中的onerror事件概述及使用
2013/04/01 Javascript
jQuery CSS()方法改变现有的CSS样式
2014/08/20 Javascript
浅谈类似于(function(){}).call()的js语句
2015/03/30 Javascript
JavaScript简单判断复选框是否选中及取出值的方法
2015/08/13 Javascript
轻松学习jQuery插件EasyUI EasyUI实现拖动基本操作
2015/11/30 Javascript
jQuery插件实现文件上传功能(支持拖拽)
2020/08/27 Javascript
jQuery实现下拉框多选 jquery-multiselect 的实例代码
2016/07/14 Javascript
深入理解Node.js中的进程管理
2017/03/13 Javascript
微信小程序实现表单校验功能
2020/03/30 Javascript
详解JSON Web Token 入门教程
2018/07/30 Javascript
vscode中eslint插件的配置(prettier配置无效)
2019/09/10 Javascript
layer.prompt使文本框为空的情况下也能点击确定的方法
2019/09/24 Javascript
对Python中range()函数和list的比较
2018/04/19 Python
python 剪切移动文件的实现代码
2018/08/02 Python
Python3中编码与解码之Unicode与bytes的讲解
2019/02/28 Python
django配置连接数据库及原生sql语句的使用方法
2019/03/03 Python
Python ini文件常用操作方法解析
2020/04/26 Python
Python tkinter制作单机五子棋游戏
2020/09/14 Python
python爬虫如何解决图片验证码
2021/02/14 Python
h5调用摄像头的实现方法
2016/06/01 HTML / CSS
大学生求职简历的自我评价
2013/10/14 职场文书
2014年销售工作总结
2014/12/01 职场文书
个人年终总结范文
2015/03/09 职场文书
2015年农村党员干部主题教育活动总结
2015/03/25 职场文书
单位实习介绍信
2015/05/05 职场文书
企业工会工作总结2015
2015/05/13 职场文书
结婚喜宴祝酒词
2015/08/10 职场文书
初中班主任培训心得体会
2016/01/07 职场文书