详解字符串在Python内部是如何省内存的


Posted in Python onFebruary 03, 2020

起步

Python3 起,str 就采用了 Unicode 编码(注意这里并不是 utf8 编码,尽管 .py 文件默认编码是 utf8 )。 每个标准 Unicode 字符占用 4 个字节。这对于内存来说,无疑是一种浪费。

Unicode 是表示了一种字符集,而为了传输方便,衍生出里如 utf8 , utf16 等编码方案来节省存储空间。Python内部存储字符串也采用了类似的形式。

三种内部表示Unicode字符串

为了减少内存的消耗,Python使用了三种不同单位长度来表示字符串:

  • 每个字符 1 个字节(Latin-1)
  • 每个字符 2 个字节(UCS-2)
  • 每个字符 4 个字节(UCS-4)

源码中定义字符串结构体:

# Include/unicodeobject.h
typedef uint32_t Py_UCS4;
typedef uint16_t Py_UCS2;
typedef uint8_t Py_UCS1;

# Include/cpython/unicodeobject.h
typedef struct {
  PyCompactUnicodeObject _base;
  union {
    void *any;
    Py_UCS1 *latin1;
    Py_UCS2 *ucs2;
    Py_UCS4 *ucs4;
  } data;           /* Canonical, smallest-form Unicode buffer */
} PyUnicodeObject;

如果字符串中所有字符都在 ascii 码范围内,那么就可以用占用 1 个字节的 Latin-1 编码进行存储。而如果字符串中存在了需要占用两个字节(比如中文字符),那么整个字符串就将采用占用 2 个字节 UCS-2 编码进行存储。

这点可以通过 sys.getsizeof 函数外部窥探来验证这个结论:

详解字符串在Python内部是如何省内存的

如图,存储 'zh' 所需的存储空间比 'z' 多 1 个字节, h 在这里占了 1 个字节;

存储 'z中' 所需的存储空间比 '中' 多了 2 个字节,z 在这里占了 2 个字节。

大多数的自然语言采用 2 字节的编码就够了。但如果有一个 1G 的 ascii 文本加载到内存后,在文本中插入了一个 emoji 表情,那么字符串所需的空间将扩大到 4 倍,是不是很惊喜。

为什么内部不采用 utf8 进行编码

最受欢迎的 Unicode 编码方案,Python内部却不使用它,为什么?

这里就得说下 utf8 编码带来的缺点。这种编码方案每个字符的占用字节长度是变化的,这就导致了无法按所以随机访问单个字符,例如 string[n] (使用utf8编码)则需要先统计前n个字符占用的字节长度。所以由 O(1) 变成了 O(n) ,这更无法让人接受。

因此Python内部采用了定长的方式存储字符串。

字符串驻留机制

另一个节省内存的方式就是将一些短小的字符串做成池,当程序要创建字符串对象前检查池中是否有满足的字符串。在内部中,仅包含下划线(_)、字母 和 数字 的长度不高过 20 的字符串才能驻留。驻留是在代码编译期间进行的,代码中的如下会进行驻留检查:

  • 空字符串 '' 及所有;
  • 变量名;
  • 参数名;
  • 字符串常量(代码中定义的所有字符串);
  • 字典键;
  • 属性名称;

驻留机制节省大量的重复字符串内存。在内部,字符串驻留池由一个全局的 dict 维护,该字段将字符串用作键:

void PyUnicode_InternInPlace(PyObject **p)
{
  PyObject *s = *p;
  PyObject *t;

  if (s == NULL || !PyUnicode_Check(s))
    return;

  // 对PyUnicodeObjec进行类型和状态检查
  if (!PyUnicode_CheckExact(s))
    return;
  if (PyUnicode_CHECK_INTERNED(s))
    return;
  // 创建intern机制的dict
  if (interned == NULL) {
    interned = PyDict_New();
    if (interned == NULL) {
      PyErr_Clear(); /* Don't leave an exception */
      return;
    }
  }

  // 对象是否存在于inter中
  t = PyDict_SetDefault(interned, s, s);

  // 存在, 调整引用计数
  if (t != s) {
    Py_INCREF(t);
    Py_SETREF(*p, t);
    return;
  }
  /* The two references in interned are not counted by refcnt.
    The deallocator will take care of this */
  Py_REFCNT(s) -= 2;
  _PyUnicode_STATE(s).interned = SSTATE_INTERNED_MORTAL;
}

变量 interned 就是全局存放字符串池的字典的变量名 interned = PyDict_New(),为了让 intern 机制中的字符串不被回收,设置字典时 PyDict_SetDefault(interned, s, s); 将字符串作为键同时也作为值进行设置,这样对于字符串对象的引用计数就会进行两次 +1 操作,这样存于字典中的对象在程序结束前永远不会为 0,这也是 y_REFCNT(s) -= 2; 将计数减 2 的原因。

从函数参数中可以看到其实字符串对象还是被创建了,内部其实始终会为字符串创建对象,但经过 inter 机制检查后,临时创建的字符串会因引用计数为 0 而被销毁,临时变量在内存中昙花一现然后迅速消失。

字符串缓冲池

除了字符串驻留池,Python 还会保存所有 ascii 码内的单个字符:

static PyObject *unicode_latin1[256] = {NULL};

如果字符串其实是一个字符,那么优先从缓冲池中获取:

[unicodeobjec.c]
PyObject * PyUnicode_DecodeUTF8Stateful(const char *s,
               Py_ssize_t size,
               const char *errors,
               Py_ssize_t *consumed)
{
  ...

  /* ASCII is equivalent to the first 128 ordinals in Unicode. */
  if (size == 1 && (unsigned char)s[0] < 128) {
    return get_latin1_char((unsigned char)s[0]);
  }
  ...
}

然后再经过 intern 机制后被保存到 intern 池中,这样驻留池中和缓冲池中,两者都是指向同一个字符串对象了。

严格来说,这个单字符缓冲池并不是省内存的方案,因为从中取出的对象几乎都会保存到缓冲池中,这个方案是为了减少字符串对象的创建。

总结

本文介绍了两种是节省内存的方案。一个字符串的每个字符在占用空间大小是相同的,取决于字符串中的最大字符。

短字符串会放到一个全局的字典中,该字典中的字符串成了单例模式,从而节省内存。

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持三水点靠木。

Python 相关文章推荐
Python开发之快速搭建自动回复微信公众号功能
Apr 22 Python
Python Paramiko模块的安装与使用详解
Nov 18 Python
Python实现打印螺旋矩阵功能的方法
Nov 21 Python
Python实现随机生成手机号及正则验证手机号的方法
Apr 25 Python
Redis使用watch完成秒杀抢购功能的代码
May 07 Python
详解基于django实现的webssh简单例子
Jul 17 Python
将Django项目部署到CentOs服务器中
Oct 18 Python
解决pycharm py文件运行后停止按钮变成了灰色的问题
Nov 29 Python
解决python flask中config配置管理的问题
Jul 26 Python
python mysql自增字段AUTO_INCREMENT值的修改方式
May 18 Python
python实例化对象的具体方法
Jun 17 Python
详解Python+Selenium+ChromeDriver的配置和问题解决
Jan 19 Python
python自动化unittest yaml使用过程解析
Feb 03 #Python
Python类如何定义私有变量
Feb 03 #Python
python异常处理try except过程解析
Feb 03 #Python
利用Python脚本实现自动刷网课
Feb 03 #Python
tensorflow 限制显存大小的实现
Feb 03 #Python
基于tensorflow指定GPU运行及GPU资源分配的几种方式小结
Feb 03 #Python
tensorflow指定GPU与动态分配GPU memory设置
Feb 03 #Python
You might like
收音机指标测试方法及仪器
2021/03/01 无线电
POST一个JSON格式的数据给Restful服务实例详解
2017/04/07 PHP
php 删除一维数组中某一个值元素的操作方法
2018/02/01 PHP
jQuery 研究心得 取得属性的值
2007/11/30 Javascript
jQuery的Ajax时无响应数据的解决方法
2010/05/25 Javascript
可以用来调试JavaScript错误的解决方案
2010/08/07 Javascript
为Extjs加加速(javascript加速)
2010/08/19 Javascript
jQuery实现contains方法不区分大小写的方法
2015/02/13 Javascript
javascript生成img标签的3种实现方法(对象、方法、html)
2015/12/25 Javascript
jQuery中通过ajax的get()函数读取页面的方法
2016/02/29 Javascript
javascript数组去重小结
2016/03/07 Javascript
浅谈js图片前端预览之filereader和window.URL.createObjectURL
2016/06/30 Javascript
jQuery获取this当前对象子元素对象的方法
2016/11/29 Javascript
nodejs的压缩文件模块archiver用法示例
2017/01/18 NodeJs
jQuery实现表格冻结顶栏效果
2017/08/20 jQuery
vue用addRoutes实现动态路由的示例
2017/09/15 Javascript
Vue.js在数组中插入重复数据的实现代码
2017/11/17 Javascript
vue slots 组件的组合/分发实例
2018/09/06 Javascript
node.js开发辅助工具nodemon安装与配置详解
2020/02/06 Javascript
[10:39]DOTA2上海特级锦标赛音乐会纪录片
2016/03/21 DOTA
python多进程和多线程究竟谁更快(详解)
2017/05/29 Python
解决Spyder中图片显示太小的问题
2018/04/27 Python
tensorflow 变长序列存储实例
2020/01/20 Python
Python requests接口测试实现代码
2020/09/08 Python
HTML5 用动画的表现形式装载图像
2016/03/08 HTML / CSS
html5 制作地图当前定位箭头的方法示例
2020/01/10 HTML / CSS
.NET面试问题集
2015/12/08 面试题
商务助理岗位职责
2013/11/13 职场文书
企业节能减排实施方案
2014/03/19 职场文书
电子信息工程自荐信
2014/05/26 职场文书
Python文件的操作示例的详细讲解
2021/04/08 Python
Python基础之常用库常用方法整理
2021/04/30 Python
浅谈pytorch中stack和cat的及to_tensor的坑
2021/05/20 Python
Mysql中 unique列插入重复值该怎么解决呢
2021/05/26 MySQL
Java8中接口的新特性使用指南
2021/11/01 Java/Android
instantclient客户端 连接oracle数据库
2022/04/26 Oracle