Redis字典实现、Hash键冲突及渐进式rehash详解


Posted in Redis onSeptember 04, 2021

本笔记参考《Redis设计与实现》 P24~ 37

Redis字典实现

哈希表节点结构

typedef struct dictEntry
{
	// 键
	void *key;

	// 值 : 可以是一个指针,或者是一个uint64/int64 的整数
	union {
		void *val;
		uint64_t u64;
		int64_t s64
	} v;

	// 指向下一个哈希表节点,形成链表 : 该指针可以将多个哈希值相同的键值对连接在一起,以此解决键冲突的问题。
	struct dictEntry *next;
} dictEntry;

哈希表结构

typedef struct dictht
{
	// 哈希表数据
	dictEntry **table;

	// 哈希表集合大小
	unsigned long size;

	// 哈希表大小掩码,用于计算索引值
	// 总是等于 size - 1
	unsigned long sizemask;

	// 哈希表已有节点数量
	unsigned long used;
} dictht;

字典

typedef struct dict 
{
	// 类型特定函数
	dicType *type;

	// 私有数据
	void *privdata;

	// 哈希表
	dictht ht[2];

	// rehash 索引
	// 当rehash不在进行时, 值为-1
	int rehashidx;
} dict;

type属性和privdata属性针对不同类型的键值对,为多态字典而设置。
ht是包含两个项的数组,每个元素都是一个dictht哈希表,一般情况下字典之是哟个ht[0],ht[1]会在对ht[0]进行rehash的时候使用。
rehashidx记录了rehash目前的进度,如果目前没有在进行rehash,值为-1。

哈希算法

  • 使用字典设置的哈希函数,计算key的hashvalue

hash = dict->type->hashFunction(key);

  • 使用哈希表的sizemask属性和哈希值,计算出索引值
  • 根据不同的情况,ht[x]可以是ht[0]或ht[1]

index = hash & dict->ht[x].sizemask;

redis使用的是MurmurHash算法,优点是:输入的键是有规律的时候,算法仍然能给出很好的随机分布性,计算速度也快。

解决hash冲突

当有两个或以上的key分配到了hash table数组的同一个index上,称为发生了collision。
Redis采用链地址法解决冲突,每个hash table节点都有一个next指针,多个hash table节点可以用next指针构成一个单向链表。为了速度考虑,程序总是会将新节点插入到链表头位置。

rehash

随着操作不断执行,哈希表保存的key value对会逐渐增加和减少。哈希表有一个统计参数load factor,即负载因子,公式如下:

# 负载因子 = 哈希表已经保存的节点数量 / 哈希表大小
load_factor = ht[0].used / ht[0].size;

为了维持负载因子在一个合理的范围,程序会对哈希表的大小进行相应的扩展或收缩,条件如下:

1、服务器目前没有执行BGSAVE命令或者BGREWRITEAOF命令,并且哈希表的负载因子 >= 1

2、服务器正在执行BGSAVE命令或者BGREWRITEAOF命令,且负载因子 >= 5

  • 在执行BGSAVE命令或者BGREWRITEAOF命令过程中,Redis需要创建当前服务器进程的子进程,大多的OS采用写时复制技术优化子进程的使用效率,所以子进程存在期间,**服务器会提高执行扩展操作的负载因子,避免在子进程存在期间进行哈希表的扩展操作,避免不必要的内存写入操作,最大限度节约内存。**当负载因子小于0.1时,程序自动对哈希表进行收缩操作。
  • 此时就会进行扩展收缩,规则如下:
  • 这里就是rehash(重新散列)操作了:
  • 1、为字典的ht[1]哈希表分配内存空间,空间大小取决于要执行的操作,以及ht[0]当前包含的键值对数量(ht[0].used)
  • 如果是扩展操作,ht[1]的大小为 >= ht[0].used * 2的 2的幂次方
  • 如果是收缩操作,ht[1]的大小为 >= ht[0].used 的 2的幂次方
  • 2、将保存在ht[0]中的所有键值对rehash到ht[1]上:即重新计算key的hashValue以及indexValue,然后将键值对放到ht[1]的指定位置
  • 3、当ht[0]包含的所有键值对都迁移到ht[1]之后,ht[0]变为空表,释放ht[0],将ht[1]置为ht[0],在ht[1]重新分配一个空白的哈希表,为下一次rehash做准备

渐进式hash

rehash的动作并不是一次性集中完成的,而是分多次渐进完成。
如果哈希表中村的键值对数量很多,一次性将键值对全部rehash到ht[1]的计算量十分庞大,可能会导致服务器在一段时间内停止服务。
渐进式rehash采取分而治之的方法,将rehash键值对所需要的计算工作分摊到每次对字典的CRUD操作上,从而避免了集中式rehash带来的庞大计算量。
详细步骤如下:
1、为ht[1]分配空间,让字典同时持有ht[0]和ht[1]两个哈希表
2、在字典中维护一个索引计数器:rehashidx,将值设置为0,表示rehash工作正式开始。
3、在rehash进行期间,每次对字典的CRUD操作,程序除了执行指定操作以外,顺带将ht[0]哈希表在rehashidx索引上的所有键值对rehash到ht[1]上,当rehash操作完成后,程序将rehashidx值++
4、重复迭代操作执行后,ht[0]的数据全部rehash到ht[1]上,将rehashidx设为-1,表明rehash操作已经完成

需要注意的地方
在rehash的过程中,对于字典的删除、查找、更新操作会在两个哈希表上执行。如想要查找一个键,现在ht[0]中找,没有找到再去ht[1]
对于insert操作来说,新添加到字典的键值对会一律保存到ht[1]中,不然还得多一次搬运。

到此这篇关于Redis字典实现、Hash键冲突以及渐进式rehash的文章就介绍到这了,更多相关Redis 渐进式rehash内容请搜索三水点靠木以前的文章或继续浏览下面的相关文章希望大家以后多多支持三水点靠木!

Redis 相关文章推荐
Redis如何一键部署脚本
Apr 12 Redis
使用Redis实现实时排行榜功能
Jul 02 Redis
在redisCluster中模糊获取key方式
Jul 09 Redis
redis requires ruby version2.2.2的解决方案
Jul 15 Redis
springboot使用Redis作缓存使用入门教程
Jul 25 Redis
Redis三种集群模式详解
Oct 05 Redis
redis的list数据类型相关命令介绍及使用
Jan 18 Redis
Redis 限流器
May 15 Redis
浅谈Redis的事件驱动模型
May 30 Redis
利用Redis实现点赞功能的示例代码
Jun 28 Redis
Redis主从复制操作和配置详情
Sep 23 Redis
基于Redis的List实现特价商品列表功能
Aug 30 #Redis
Redis 常见使用场景
Aug 30 #Redis
Redis入门教程详解
Redis如何实现分布式锁
Aug 23 #Redis
Redisson实现Redis分布式锁的几种方式
Redis分布式锁Redlock的实现
Aug 07 #Redis
关于redisson缓存序列化几枚大坑说明
Aug 04 #Redis
You might like
用PHP+MySql编写聊天室
2006/10/09 PHP
解决更换PHP5.4以上版本后Dedecms后台登录空白问题的方法
2015/10/23 PHP
PHP验证终端类型是否为手机的简单实例
2017/02/07 PHP
PHP常用的类封装小结【4个工具类】
2019/06/28 PHP
php layui实现前端多图上传实例
2019/07/30 PHP
使用Jquery搭建最佳用户体验的登录页面之记住密码自动登录功能(含后台代码)
2011/07/10 Javascript
Javascript模块化编程(一)AMD规范(规范使用模块)
2013/01/17 Javascript
两个listbox实现选项的添加删除和搜索
2013/03/01 Javascript
防止jQuery ajax Load使用缓存的方法小结
2014/02/22 Javascript
每天一篇javascript学习小结(RegExp对象)
2015/11/17 Javascript
JS延时提示框实现方法详解
2015/11/26 Javascript
JS 通过系统时间限定动态添加 select option的实例代码
2016/06/09 Javascript
JavaScript微信定位功能实现方法
2016/11/29 Javascript
JS中微信小程序自定义底部弹出框
2016/12/22 Javascript
JavaScript中的编码和解码函数
2017/02/15 Javascript
详解vue-router 2.0 常用基础知识点之导航钩子
2017/05/10 Javascript
VUE 3D轮播图封装实现方法
2018/07/03 Javascript
详解vuex之store拆分即多模块状态管理(modules)篇
2018/11/13 Javascript
vue+Element-ui实现分页效果实例代码详解
2018/12/10 Javascript
jQuery实现的3D版图片轮播示例【滑动轮播】
2019/01/18 jQuery
通过实例学习React中事件节流防抖
2019/06/17 Javascript
JavaScript this使用方法图解
2020/02/04 Javascript
[02:33]2014DOTA2 TI每日综述 LGD涉险晋级DK闯入胜者组
2014/07/14 DOTA
Python实现的插入排序算法原理与用法实例分析
2017/11/22 Python
python with提前退出遇到的坑与解决方案
2018/01/05 Python
python配置grpc环境
2019/01/01 Python
用vue.js组件模拟v-model指令实例方法
2019/07/05 Python
Python使用Turtle模块绘制国旗的方法示例
2021/02/28 Python
浅谈HTML5新增和废弃的标签
2019/04/28 HTML / CSS
Under Armour安德玛中国官网:美国高端运动科技品牌
2018/03/09 全球购物
宾馆总经理岗位职责
2014/02/14 职场文书
《盲人摸象》教学反思
2014/02/16 职场文书
2014年前台接待工作总结
2014/12/05 职场文书
兵马俑的导游词
2015/02/02 职场文书
使用canvas对video视频某一刻截图功能
2021/09/25 HTML / CSS
angular异步验证器防抖实例详解
2022/03/31 Javascript