Redis中一个String类型引发的惨案


Posted in Redis onJuly 25, 2021

​ 曾经看到这么一个案例,有一个团队需要开发一个图片存储系统,要求这个系统能快速记录图片ID和图片存储对象ID,同时还需要能够根据图片的ID快速找到图片存储对象ID。我们假设用10位数来表示图片ID和图片存储对象ID,例如图片的ID为1101021043,它所对应的图片存储对象的ID为2301010051,可以看到图片ID和图片存储ID正好是一一对应的,是典型的key-value形式,所以首先会想到直接使用String类型来保存数据。把图片ID和图片存储ID分别作为键值对的key和value来保存。但是随着存储的数据量越来越大,Redis的内存的使用量也快速上升,结果遇到了大内存Redis实例因为生成RDB而响应变慢的问题。很显然String类型并不是一种好的选择,

那有什么办法可以降低内存消耗吗?

String类型的数据结构

首先我们得先了解为什么String保存数据时所消耗的内存空间较大。在刚才的案例中,由于图片ID和图片存储对象ID都是10位数,我们可以用两个8字节的Long类型来表示这两个ID。所以一组图片ID及其存储对象ID的记录,实际只需要16字节就可以了。但是通过对Redis内存分析,一组图片ID及其存储对象ID却占用了64字节,那为什么String类型会用64字节呢。其实,除了要记录实际的数据,String类型还需要额外的内存空间来记录数据的长度、空间使用信息等,这些信息也叫做元数据。当实际保存的数据较小时,元数据的空间开销就显的比较大了。我们先来看一下String类型是如何保存数据的。当你保存64位有符号的整数时,String类型会把它保存为一个8字节的Long类型整数,这种保存方式通常也叫作int编码方式。但是,当你保存的数据中包含字符时,String类型就会用简单动态字符串结构体(SDS)来保存。如下图所示:

Redis中一个String类型引发的惨案

  • len:4个字节,表示buf的已用长度。
  • alloc:4个字节,表示buf分配的长度,一般大于len。
  • buf:字节数组,保存实际数据。为了表示数组的结尾,Redis会自动在数组最后添加一个”\0"。

可以看到,在SDS结构体中,除了有保存实际数据的buf,还有len和alloc的额外元数据的开销。另外对于String类型来说,除了SDS的额外开销外,还有一个叫做RedisObject结构体的开销。因为Redis的数据类型有很多,不同的数据类型都有相同的元数据要记录(例如最后一次访问时间),所以Redis会采用一个叫做RedisObject结构体来统一记录这些元数据。一个RedisObject包含了一个8字节的元数据和一个8字节的指针,这个指针指向具体数据所在,例如String类型的SDS结构体所在的内存地址。如下图所示:

Redis中一个String类型引发的惨案

为了节省内存空间,Redis对Long类型整数和SDS的内存布局做了专门的设计。一方面,当保存的是 Long 类型整数时,RedisObject 中的指针就直接赋值为整数数据了,这样就不用额外的指针再指向整数了,节省了指针的空间开销。另一方面,当保存的是字符串数据,并且字符串小于等于 44 字节时,RedisObject 中的元数据、指针和 SDS 是一块连续的内存区域,这样就可以避免内存碎片。这种布局方式也被称为 embstr 编码方式。当字符串大于44字节时,SDS的数据量就开始变多了,Redis 就不再把SDS 和

RedisObject 布局在一起了,而是会给 SDS 分配独立的空间,并用指针指向 SDS 结构。这种布局方式被称为 raw 编码模式。如下图所示:

Redis中一个String类型引发的惨案

现在我们来计算一下一对图片ID和图片存储对象ID的内存的使用量。由于10位数的图片ID和图片存储对象ID是Long类型整数,所以可以直接用int编码的RedisObject保存。相对应的RedisObject元数据部分占8字节,指针部分被直接赋值为8字节的整数了。此时,每个ID会使用16字节,加起来一共是32字节。但是,另外的 32 字节去哪儿了呢?

由于Redis是使用全局哈希表来保存所有的键值对,哈希表的每一项是一个dictEntity的结构体来指向一个键值对。dictEntity由三个8字节的指针组成,分别来指向key、value以及下一个dictEntity。如下图所示。

Redis中一个String类型引发的惨案

由于Redis使用的内存分配库为jemalloc,jemalloc在分配内存时,会根据申请的字节数N,找一个比N大的,最接近N的2的幂次数作为分配的空间。

所以申请一个24字节的dictEntity,实际会分配32个字节。

到目前位置,你应该明白了为什么String类型来保存图片ID和图片存储对象ID会占用64个字节了。一个有效信息只有16个字节,在使用String类型保存时,却要占用64个字节内存空间,有48个字节用来保存元数据信息了,这是不是极大的浪费了内存空间。那么有没有更加节省内存的方法呢?

用压缩列表节省内存

Redis里有一种叫做压缩列表的结构,非常节省内存。我们先回顾一下压缩列表的构成。表头有三个字段zlbytes、zllen和zltail,分别表示列表的长度、列表尾的偏移量以及列表中entry的个数。压缩列表表尾有一个zlend,表示列表结束。如下图所示。

Redis中一个String类型引发的惨案

由于压缩列表采用一系列的entry保存数据,这些entry会挨个儿放置在内存中,不需要再用额外的指针进行连接,这样就可以节省指针所占用的空间。每个entry由以下几部分组成。

  • pre_len:表示前一个entry的长度。prev_len有两种取值情况:1 字节或 5 字节。当上一个 entry 长度小于 254 字节时,prev_len 取值为 1 字节,否则,就取值为 5 字节。
  • len:表示自身的长度,占4个字节。
  • encoding:表示编码方式,占1个字节。
  • content:保存实际数据。

假设我们使用entry来保存图片存储对象ID(占8个字节),此时,每个entry的prev_len占用1个字节就行,因为每一个entry的前一个entry的长度小于264字节。这样一来,一个图片对象ID所占用的内存大小是14(1+4+1+8)个字节,实际上会分配16个字节。

Redis里基于压缩列表实现了List、Hash和Sorted Set集合类型,这样做的最大好处就是节省了dictEntity的内存开销。对于String类型来说,一个键值对就有一个dictEntity,占用32个字节。对于集合类型来说,一个key对应了很多数据,却只是占用了一个dictEntity,这样就节省了内存空间。

如何用集合类型存储单值的键值对的数据

在保存单值键值对的数据时,我们可以使用基于Hash类型的二级编码方式。这里所说的二级编码,是指把单值的数据拆成两部分,前一部分作为Hash的key,后一部分作为Hash的value。 以图片的ID为1101021043,它所对应的图片存储对象的ID为2301010051为例,我们将图片的ID的前7位(1101021)作为Hash类型的键,后3位(043)和图片存储对象ID为2301010051作为Hash类型的key和value。我们按照这种设计,在Redis中插入一条记录,只占用了16字节,所以和使用String类型占用64字节对比,节省了很多空间。 最后,我们再思考一个问题,为什么要把图片ID的前7位作为Hash类型的键,后3位作为Hash类型的key呢。我们在Redis存储结构里介绍过Redis的Hash类型的两种底层实现结构,分别是压缩列表和哈希表。Hash 类型设置了用压缩列表保存数据时的两个阈值,一旦超过了阈值,Hash 类型就会用哈希表来保存数据了。这两个阈值分别对应以下两个配置项:

  • hash-max-ziplist-entries:表示用压缩列表保存时哈希集合中的最大元素个数。
  • hash-max-ziplist-value:表示用压缩列表保存时哈希集合中单个元素的最大长度。

在内存节省空间方面,哈希表就没有压缩列表那么高效。我们只用后3位作为Hash类型的key,也就保证哈希集合中元素的个数不会超过1000,同时我们通过设置hash-max-ziplist-entries=1000,来确保Hash类型底层使用的是压缩列表这种数据结构。

到此这篇关于Redis中一个String类型引发的惨案的文章就介绍到这了,更多相关Redis String类型内容请搜索三水点靠木以前的文章或继续浏览下面的相关文章希望大家以后多多支持三水点靠木!

Redis 相关文章推荐
详解Redis复制原理
Jun 04 Redis
redis使用不当导致应用卡死bug的过程解析
Jul 01 Redis
厉害!这是Redis可视化工具最全的横向评测
Jul 15 Redis
springboot使用Redis作缓存使用入门教程
Jul 25 Redis
redis 存储对象的方法对比分析
Aug 02 Redis
sentinel支持的redis高可用集群配置详解
Apr 01 Redis
Redis实现一个账号只能登录一个设备
Apr 19 Redis
Grafana可视化监控系统结合SpringBoot使用
Apr 19 Redis
解决 redis 无法远程连接
May 15 Redis
Redis 报错 error:NOAUTH Authentication required
May 15 Redis
使用Redis实现分布式锁的方法
Jun 16 Redis
缓存替换策略及应用(以Redis、InnoDB为例)
浅谈redis整数集为什么不能降级
嵌入式Redis服务器在Spring Boot测试中的使用教程
Jul 21 #Redis
Redis源码阅读:Redis字符串SDS详解
浅谈Redis位图(Bitmap)及Redis二进制中的问题
Redis做数据持久化的解决方案及底层原理
Jul 15 #Redis
Redis Cluster集群动态扩容的实现
You might like
zend optimizer在wamp的基础上安装图文教程
2013/10/26 PHP
PHP多个文件上传到服务器实例
2014/10/29 PHP
php定义参数数量可变的函数用法实例
2015/03/16 PHP
PHP实现多维数组转字符串和多维数组转一维数组的方法
2015/08/08 PHP
PHP房贷计算器实例代码,等额本息,等额本金
2017/04/01 PHP
PHP中strtr与str_replace函数运行性能简单测试示例
2019/06/22 PHP
PHP Swoole异步MySQL客户端实现方法示例
2019/10/24 PHP
JQUERY 浏览器判断实现函数
2009/08/20 Javascript
js中escape对应的C#解码函数 UrlDecode
2012/12/16 Javascript
JavaScript实现Java中StringBuffer的方法
2015/02/09 Javascript
jQuery插件ImageDrawer.js实现动态绘制图片动画(附源码下载)
2016/02/25 Javascript
node.js中debug模块的简单介绍与使用
2017/04/25 Javascript
微信小程序picker组件关于objectArray数据类型的绑定方法
2019/03/13 Javascript
Node.js + express实现上传大文件的方法分析【图片、文本文件】
2019/03/14 Javascript
详解javascript设计模式三:代理模式
2019/03/25 Javascript
Vue路由之JWT身份认证的实现方法
2019/08/26 Javascript
JS判断数组四种实现方法详解
2020/06/29 Javascript
15个简单的JS编码标准让你的代码更整洁(小结)
2020/07/16 Javascript
[54:53]完美世界DOTA2联赛PWL S2 GXR vs PXG 第二场 11.18
2020/11/18 DOTA
手动实现把python项目发布为exe可执行程序过程分享
2014/10/23 Python
python常规方法实现数组的全排列
2015/03/17 Python
Python实现网站注册验证码生成类
2017/06/08 Python
python中实现k-means聚类算法详解
2017/11/11 Python
使用python和pygame绘制繁花曲线的方法
2018/02/24 Python
python面向对象实现名片管理系统文件版
2019/04/26 Python
python实现异常信息堆栈输出到日志文件
2019/12/26 Python
python代码实现猜拳小游戏
2020/11/30 Python
英国健身超市:Fitness Superstore
2019/06/17 全球购物
英国最大的滑板品牌选择:Route One
2019/09/22 全球购物
Made in Design德国:设计师家具、灯具和装饰
2019/10/31 全球购物
远东集团网络工程师面试题
2014/10/20 面试题
应聘医药代表职位求职信
2013/10/21 职场文书
《我要的是葫芦》教学反思
2014/02/23 职场文书
2015小学毕业班工作总结
2015/07/21 职场文书
python实现自动清理文件夹旧文件
2021/05/10 Python
mysql 联合索引生效的条件及索引失效的条件
2021/11/20 MySQL