为什么从Python 3.6开始字典有序并效率更高


Posted in Python onJuly 15, 2019

在Python 3.5(含)以前,字典是不能保证顺序的,键值对A先插入字典,键值对B后插入字典,但是当你打印字典的Keys列表时,你会发现B可能在A的前面。

但是从Python 3.6开始,字典是变成有顺序的了。你先插入键值对A,后插入键值对B,那么当你打印Keys列表的时候,你就会发现B在A的后面。

不仅如此,从Python 3.6开始,下面的三种遍历操作,效率要高于Python 3.5之前:

for key in 字典

for value in 字典.values()

for key, value in 字典.items()

从Python 3.6开始,字典占用内存空间的大小,视字典里面键值对的个数,只有原来的30%~95%。

Python 3.6到底对字典做了什么优化呢?为了说明这个问题,我们需要先来说一说,在Python 3.5(含)之前,字典的底层原理。

当我们初始化一个空字典的时候,CPython的底层会初始化一个二维数组,这个数组有8行,3列,如下面的示意图所示:

my_dict = {}

'''
此时的内存示意图
[[---, ---, ---],
[---, ---, ---],
[---, ---, ---],
[---, ---, ---],
[---, ---, ---],
[---, ---, ---],
[---, ---, ---],
[---, ---, ---]]
'''

现在,我们往字典里面添加一个数据:

my_dict['name'] = 'kingname'

'''
此时的内存示意图
[[---, ---, ---],
[---, ---, ---],
[---, ---, ---],
[---, ---, ---],
[---, ---, ---],
[1278649844881305901, 指向name的指针, 指向kingname的指针],
[---, ---, ---],
[---, ---, ---]]
'''

这里解释一下,为什么添加了一个键值对以后,内存变成了这个样子:

首先我们调用Python 的hash函数,计算name这个字符串在当前运行时的hash值:

>>> hash('name')
1278649844881305901

特别注意,我这里强调了『当前运行时』,这是因为,Python自带的这个hash函数,和我们传统上认为的Hash函数是不一样的。Python自带的这个hash函数计算出来的值,只能保证在每一个运行时的时候不变,但是当你关闭Python再重新打开,那么它的值就可能会改变,如下图所示:

为什么从Python 3.6开始字典有序并效率更高

假设在某一个运行时里面,hash('name')的值为1278649844881305901。现在我们要把这个数对8取余数:

>>> 1278649844881305901 % 8
5

余数为5,那么就把它放在刚刚初始化的二维数组中,下标为5的这一行。由于name和kingname是两个字符串,所以底层C语言会使用两个字符串变量存放这两个值,然后得到他们对应的指针。于是,我们这个二维数组下标为5的这一行,第一个值为name的hash值,第二个值为name这个字符串所在的内存的地址(指针就是内存地址),第三个值为kingname这个字符串所在的内存的地址。

现在,我们再来插入两个键值对:

my_dict['age'] = 26
my_dict['salary'] = 999999

'''
此时的内存示意图
[[-4234469173262486640, 指向salary的指针, 指向999999的指针],
[1545085610920597121, 执行age的指针, 指向26的指针],
[---, ---, ---],
[---, ---, ---],
[---, ---, ---],
[1278649844881305901, 指向name的指针, 指向kingname的指针],
[---, ---, ---],
[---, ---, ---]]
'''

那么字典怎么读取数据呢?首先假设我们要读取age对应的值。

此时,Python先计算在当前运行时下面,age对应的Hash值是多少:

>>> hash('age')
1545085610920597121

余数为1,那么二维数组里面,下标为1的这一行就是需要的键值对。直接返回这一行第三个指针对应的内存中的值,就是age对应的值26。

当你要循环遍历字典的Key的时候,Python底层会遍历这个二维数组,如果当前行有数据,那么就返回Key指针对应的内存里面的值。如果当前行没有数据,那么就跳过。所以总是会遍历整个二位数组的每一行。

每一行有三列,每一列占用8byte的内存空间,所以每一行会占用24byte的内存空间。

由于Hash值取余数以后,余数可大可小,所以字典的Key并不是按照插入的顺序存放的。

注意,这里我省略了与本文没有太大关系的两个点:

  1. 开放寻址,当两个不同的Key,经过Hash以后,再对8取余数,可能余数会相同。此时Python为了不覆盖之前已有的值,就会使用开放寻址技术重新寻找一个新的位置存放这个新的键值对。
  2. 当字典的键值对数量超过当前数组长度的2/3时,数组会进行扩容,8行变成16行,16行变成32行。长度变了以后,原来的余数位置也会发生变化,此时就需要移动原来位置的数据,导致插入效率变低。

在Python 3.6以后,字典的底层数据结构发生了变化,现在当你初始化一个空的字典以后,它在底层是这样的:

my_dict = {}

'''
此时的内存示意图
indices = [None, None, None, None, None, None, None, None]

entries = []
'''

当你初始化一个字典以后,Python单独生成了一个长度为8的一维数组。然后又生成了一个空的二维数组。

现在,我们往字典里面添加一个键值对:

my_dict['name'] = 'kingname'

'''
此时的内存示意图
indices = [None, 0, None, None, None, None, None, None]

entries = [[-5954193068542476671, 指向name的指针, 执行kingname的指针]]
'''

为什么内存会变成这个样子呢?我们来一步一步地看:

在当前运行时,name这个字符串的hash值为-5954193068542476671,这个值对8取余数是1:

>>> hash('name')
-5954193068542476671
>>> hash('name') % 8
1

所以,我们把indices这个一维数组里面,下标为1的位置修改为0。

这里的0是什么意思呢?0是二位数组entries的索引。现在entries里面只有一行,就是我们刚刚添加的这个键值对的三个数据:name的hash值、指向name的指针和指向kinganme的指针。所以indices里面填写的数字0,就是刚刚我们插入的这个键值对的数据在二位数组里面的行索引。

好,现在我们再来插入两条数据:

my_dict['address'] = 'xxx'
my_dict['salary'] = 999999

'''
此时的内存示意图
indices = [1, 0, None, None, None, None, 2, None]

entries = [[-5954193068542476671, 指向name的指针, 执行kingname的指针],
     [9043074951938101872, 指向address的指针,指向xxx的指针],
     [7324055671294268046, 指向salary的指针, 指向999999的指针]
     ]
'''

现在如果我要读取数据怎么办呢?假如我要读取salary的值,那么首先计算salary的hash值,以及这个值对8的余数:

>>> hash('salary')
7324055671294268046
>>> hash('salary') % 8
6

那么我就去读indices下标为6的这个值。这个值为2.

然后再去读entries里面,下标为2的这一行的数据,也就是salary对应的数据了。

新的这种方式,当我要插入新的数据的时候,始终只是往entries的后面添加数据,这样就能保证插入的顺序。当我们要遍历字典的Keys和Values的时候,直接遍历entries即可,里面每一行都是有用的数据,不存在跳过的情况,减少了遍历的个数。

老的方式,当二维数组有8行的时候,即使有效数据只有3行,但它占用的内存空间还是 8 * 24 = 192 byte。但使用新的方式,如果只有三行有效数据,那么entries也就只有3行,占用的空间为3 * 24 =72 byte,而indices由于只是一个一维的数组,只占用8 byte,所以一共占用 80 byte。内存占用只有原来的41%。

参考:[ Python-Dev] More compact dictionaries with faster iteration

总结

以上就是这篇文章的全部内容了,希望本文的内容对大家的学习或者工作具有一定的参考学习价值,谢谢大家对三水点靠木的支持。

Python 相关文章推荐
简单说明Python中的装饰器的用法
Apr 24 Python
python strip() 函数和 split() 函数的详解及实例
Feb 03 Python
python使用matplotlib绘制柱状图教程
Feb 08 Python
python reduce 函数使用详解
Dec 05 Python
python+django加载静态网页模板解析
Dec 12 Python
用python实现对比两张图片的不同
Feb 05 Python
python 中pyqt5 树节点点击实现多窗口切换问题
Jul 04 Python
selenium+PhantomJS爬取豆瓣读书
Aug 26 Python
Python 实现try重新执行
Dec 21 Python
django 实现手动存储文件到model的FileField
Mar 30 Python
Python进度条的使用
May 17 Python
django settings.py 配置文件及介绍
Jul 15 #Python
python项目对接钉钉SDK的实现
Jul 15 #Python
用Python识别人脸,人种等各种信息
Jul 15 #Python
django中账号密码验证登陆功能的实现方法
Jul 15 #Python
python tkinter窗口最大化的实现
Jul 15 #Python
在pycharm下设置自己的个性模版方法
Jul 15 #Python
Pycharm新建模板默认添加个人信息的实例
Jul 15 #Python
You might like
php中去除所有js,html,css代码
2010/10/12 PHP
基于PHP选项与信息函数的使用详解
2013/05/10 PHP
linux系统下php安装mbstring扩展的二种方法
2014/01/20 PHP
php 读取输出其他文件的实现方法
2016/07/26 PHP
原生Js实现按的数据源均分时间点幻灯片效果(已封装)
2010/12/28 Javascript
js获取元素到文档区域document的(横向、纵向)坐标的两种方法
2013/05/17 Javascript
js实现连续英文字符自动换行兼容ie6 ie7和firefox
2013/09/06 Javascript
jquery遍历数组与筛选数组的方法
2013/11/05 Javascript
jquery复选框全选/取消示例
2013/12/30 Javascript
jQuery实现简单的文件上传进度条效果
2020/03/26 Javascript
简单实现IONIC购物车功能
2017/01/10 Javascript
Easyui笔记2:实现datagrid多行删除的示例代码
2017/01/14 Javascript
详解在 Angular 项目中添加 clean-blog 模板
2017/07/04 Javascript
网页中的图片查看器viewjs使用方法
2017/07/11 Javascript
深入理解React Native原生模块与JS模块通信的几种方式
2017/07/24 Javascript
JavaScript获取tr td 的三种方式全面总结(推荐)
2017/08/15 Javascript
Vue中使用vue-i18插件实现多语言切换功能
2018/04/25 Javascript
Linux Centos7.2下安装nodejs&npm配置全局路径的教程
2018/05/15 NodeJs
vue实现可视化可拖放的自定义表单的示例代码
2019/03/20 Javascript
js核心基础之闭包的应用实例分析
2019/05/11 Javascript
微信小程序蓝牙连接小票打印机实例代码详解
2019/06/03 Javascript
jquery使用echarts实现有向图可视化功能示例
2019/11/25 jQuery
js实现打字小游戏
2019/12/17 Javascript
javascript 数组(list)添加/删除的实现
2020/12/17 Javascript
[04:45]DOTA2上海特级锦标赛主赛事第四日RECAP
2016/03/06 DOTA
[51:26]VP vs VG 2018国际邀请赛小组赛BO2 第二场 8.19
2018/08/21 DOTA
用Python写的图片蜘蛛人代码
2012/08/27 Python
python遍历文件夹下所有excel文件
2018/01/03 Python
Django 实现下载文件功能的示例
2018/03/06 Python
关于Python中的向量相加和numpy中的向量相加效率对比
2019/08/26 Python
python 爬取腾讯视频评论的实现步骤
2021/02/18 Python
大学新生军训方案
2014/05/03 职场文书
委托书范本
2014/09/13 职场文书
办公室主任岗位职责
2015/01/31 职场文书
2016北大自主招生自荐信模板
2016/01/28 职场文书
浅谈PostgreSQL表分区的三种方式
2021/06/29 PostgreSQL