详解字符串在Python内部是如何省内存的


Posted in Python onFebruary 03, 2020

起步

Python3 起,str 就采用了 Unicode 编码(注意这里并不是 utf8 编码,尽管 .py 文件默认编码是 utf8 )。 每个标准 Unicode 字符占用 4 个字节。这对于内存来说,无疑是一种浪费。

Unicode 是表示了一种字符集,而为了传输方便,衍生出里如 utf8 , utf16 等编码方案来节省存储空间。Python内部存储字符串也采用了类似的形式。

三种内部表示Unicode字符串

为了减少内存的消耗,Python使用了三种不同单位长度来表示字符串:

  • 每个字符 1 个字节(Latin-1)
  • 每个字符 2 个字节(UCS-2)
  • 每个字符 4 个字节(UCS-4)

源码中定义字符串结构体:

# Include/unicodeobject.h
typedef uint32_t Py_UCS4;
typedef uint16_t Py_UCS2;
typedef uint8_t Py_UCS1;

# Include/cpython/unicodeobject.h
typedef struct {
  PyCompactUnicodeObject _base;
  union {
    void *any;
    Py_UCS1 *latin1;
    Py_UCS2 *ucs2;
    Py_UCS4 *ucs4;
  } data;           /* Canonical, smallest-form Unicode buffer */
} PyUnicodeObject;

如果字符串中所有字符都在 ascii 码范围内,那么就可以用占用 1 个字节的 Latin-1 编码进行存储。而如果字符串中存在了需要占用两个字节(比如中文字符),那么整个字符串就将采用占用 2 个字节 UCS-2 编码进行存储。

这点可以通过 sys.getsizeof 函数外部窥探来验证这个结论:

详解字符串在Python内部是如何省内存的

如图,存储 'zh' 所需的存储空间比 'z' 多 1 个字节, h 在这里占了 1 个字节;

存储 'z中' 所需的存储空间比 '中' 多了 2 个字节,z 在这里占了 2 个字节。

大多数的自然语言采用 2 字节的编码就够了。但如果有一个 1G 的 ascii 文本加载到内存后,在文本中插入了一个 emoji 表情,那么字符串所需的空间将扩大到 4 倍,是不是很惊喜。

为什么内部不采用 utf8 进行编码

最受欢迎的 Unicode 编码方案,Python内部却不使用它,为什么?

这里就得说下 utf8 编码带来的缺点。这种编码方案每个字符的占用字节长度是变化的,这就导致了无法按所以随机访问单个字符,例如 string[n] (使用utf8编码)则需要先统计前n个字符占用的字节长度。所以由 O(1) 变成了 O(n) ,这更无法让人接受。

因此Python内部采用了定长的方式存储字符串。

字符串驻留机制

另一个节省内存的方式就是将一些短小的字符串做成池,当程序要创建字符串对象前检查池中是否有满足的字符串。在内部中,仅包含下划线(_)、字母 和 数字 的长度不高过 20 的字符串才能驻留。驻留是在代码编译期间进行的,代码中的如下会进行驻留检查:

  • 空字符串 '' 及所有;
  • 变量名;
  • 参数名;
  • 字符串常量(代码中定义的所有字符串);
  • 字典键;
  • 属性名称;

驻留机制节省大量的重复字符串内存。在内部,字符串驻留池由一个全局的 dict 维护,该字段将字符串用作键:

void PyUnicode_InternInPlace(PyObject **p)
{
  PyObject *s = *p;
  PyObject *t;

  if (s == NULL || !PyUnicode_Check(s))
    return;

  // 对PyUnicodeObjec进行类型和状态检查
  if (!PyUnicode_CheckExact(s))
    return;
  if (PyUnicode_CHECK_INTERNED(s))
    return;
  // 创建intern机制的dict
  if (interned == NULL) {
    interned = PyDict_New();
    if (interned == NULL) {
      PyErr_Clear(); /* Don't leave an exception */
      return;
    }
  }

  // 对象是否存在于inter中
  t = PyDict_SetDefault(interned, s, s);

  // 存在, 调整引用计数
  if (t != s) {
    Py_INCREF(t);
    Py_SETREF(*p, t);
    return;
  }
  /* The two references in interned are not counted by refcnt.
    The deallocator will take care of this */
  Py_REFCNT(s) -= 2;
  _PyUnicode_STATE(s).interned = SSTATE_INTERNED_MORTAL;
}

变量 interned 就是全局存放字符串池的字典的变量名 interned = PyDict_New(),为了让 intern 机制中的字符串不被回收,设置字典时 PyDict_SetDefault(interned, s, s); 将字符串作为键同时也作为值进行设置,这样对于字符串对象的引用计数就会进行两次 +1 操作,这样存于字典中的对象在程序结束前永远不会为 0,这也是 y_REFCNT(s) -= 2; 将计数减 2 的原因。

从函数参数中可以看到其实字符串对象还是被创建了,内部其实始终会为字符串创建对象,但经过 inter 机制检查后,临时创建的字符串会因引用计数为 0 而被销毁,临时变量在内存中昙花一现然后迅速消失。

字符串缓冲池

除了字符串驻留池,Python 还会保存所有 ascii 码内的单个字符:

static PyObject *unicode_latin1[256] = {NULL};

如果字符串其实是一个字符,那么优先从缓冲池中获取:

[unicodeobjec.c]
PyObject * PyUnicode_DecodeUTF8Stateful(const char *s,
               Py_ssize_t size,
               const char *errors,
               Py_ssize_t *consumed)
{
  ...

  /* ASCII is equivalent to the first 128 ordinals in Unicode. */
  if (size == 1 && (unsigned char)s[0] < 128) {
    return get_latin1_char((unsigned char)s[0]);
  }
  ...
}

然后再经过 intern 机制后被保存到 intern 池中,这样驻留池中和缓冲池中,两者都是指向同一个字符串对象了。

严格来说,这个单字符缓冲池并不是省内存的方案,因为从中取出的对象几乎都会保存到缓冲池中,这个方案是为了减少字符串对象的创建。

总结

本文介绍了两种是节省内存的方案。一个字符串的每个字符在占用空间大小是相同的,取决于字符串中的最大字符。

短字符串会放到一个全局的字典中,该字典中的字符串成了单例模式,从而节省内存。

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持三水点靠木。

Python 相关文章推荐
python使用scrapy解析js示例
Jan 23 Python
python海龟绘图实例教程
Jul 24 Python
Python中dictionary items()系列函数的用法实例
Aug 21 Python
python 多线程实现检测服务器在线情况
Nov 25 Python
python的exec、eval使用分析
Dec 11 Python
Python编程把二叉树打印成多行代码
Jan 04 Python
Python基于matplotlib画箱体图检验异常值操作示例【附xls数据文件下载】
Jan 07 Python
详解Python可视化神器Yellowbrick使用
Nov 11 Python
tensorflow2.0保存和恢复模型3种方法
Feb 03 Python
如何用用Python将地址标记在地图上
Feb 07 Python
python中的plt.cm.Paired用法说明
May 31 Python
Python中requests库的用法详解
Jun 05 Python
python自动化unittest yaml使用过程解析
Feb 03 #Python
Python类如何定义私有变量
Feb 03 #Python
python异常处理try except过程解析
Feb 03 #Python
利用Python脚本实现自动刷网课
Feb 03 #Python
tensorflow 限制显存大小的实现
Feb 03 #Python
基于tensorflow指定GPU运行及GPU资源分配的几种方式小结
Feb 03 #Python
tensorflow指定GPU与动态分配GPU memory设置
Feb 03 #Python
You might like
php Notice: Undefined index 错误提示解决方法
2010/08/29 PHP
php修改时间格式的代码
2011/05/29 PHP
使用PHP生成二维码的两种方法(带logo图像)
2014/03/14 PHP
ThinkPHP模板替换与系统常量及应用实例教程
2014/08/22 PHP
初识PHP
2014/09/28 PHP
php使用memcoder将视频转成mp4格式的方法
2015/03/12 PHP
javascript parseInt 函数分析(转)
2009/03/21 Javascript
js 父窗口控制子窗口的行为-打开,关闭,重定位,回复
2010/04/20 Javascript
JavaScript获取网页表单action属性的方法
2015/04/02 Javascript
如何利用JSHint减少JavaScript的错误
2016/08/23 Javascript
jQuery 实现ajax传入参数含有特殊字符的方法总结
2016/10/17 Javascript
遍历json获得数据的几种方法小结
2017/01/21 Javascript
在vue-cli的组件模板里使用font-awesome的两种方法
2018/09/28 Javascript
Vue 框架之动态绑定 css 样式实例分析
2018/11/14 Javascript
详解Vue、element-ui、axios实现省市区三级联动
2019/05/07 Javascript
uni-app使用countdown插件实现倒计时
2020/11/01 Javascript
jquery实现广告上下滚动效果
2021/03/04 jQuery
如何使用 Pylint 来规范 Python 代码风格(来自IBM)
2018/04/06 Python
基于Python log 的正确打开方式
2018/04/28 Python
python3.4.3下逐行读入txt文本并去重的方法
2018/04/29 Python
浅谈Series和DataFrame中的sort_index方法
2018/06/07 Python
Python如何爬取微信公众号文章和评论(基于 Fiddler 抓包分析)
2019/06/28 Python
使用 Python 快速实现 HTTP 和 FTP 服务器的方法
2019/07/22 Python
Python filter过滤器原理及实例应用
2020/08/18 Python
英文求职信结束语大全
2013/10/26 职场文书
学前教育毕业生自荐信
2013/10/29 职场文书
利群广告词
2014/03/20 职场文书
幼儿园保育员责任书
2014/07/22 职场文书
小学教师师德师风演讲稿
2014/08/22 职场文书
教师师德师风个人整改方案
2014/09/18 职场文书
党的群众路线教育实践活动总结大会主持词
2014/10/30 职场文书
2014年幼儿园老师工作总结
2014/12/05 职场文书
太空授课观后感
2015/06/17 职场文书
浅谈克隆 JavaScript
2021/11/02 Javascript
Nginx虚拟主机的配置步骤过程全解
2022/03/31 Servers
php解析非标准json、非规范json的方式实例
2022/05/10 PHP