Redis字典实现、Hash键冲突及渐进式rehash详解


Posted in Redis onSeptember 04, 2021

本笔记参考《Redis设计与实现》 P24~ 37

Redis字典实现

哈希表节点结构

typedef struct dictEntry
{
	// 键
	void *key;

	// 值 : 可以是一个指针,或者是一个uint64/int64 的整数
	union {
		void *val;
		uint64_t u64;
		int64_t s64
	} v;

	// 指向下一个哈希表节点,形成链表 : 该指针可以将多个哈希值相同的键值对连接在一起,以此解决键冲突的问题。
	struct dictEntry *next;
} dictEntry;

哈希表结构

typedef struct dictht
{
	// 哈希表数据
	dictEntry **table;

	// 哈希表集合大小
	unsigned long size;

	// 哈希表大小掩码,用于计算索引值
	// 总是等于 size - 1
	unsigned long sizemask;

	// 哈希表已有节点数量
	unsigned long used;
} dictht;

字典

typedef struct dict 
{
	// 类型特定函数
	dicType *type;

	// 私有数据
	void *privdata;

	// 哈希表
	dictht ht[2];

	// rehash 索引
	// 当rehash不在进行时, 值为-1
	int rehashidx;
} dict;

type属性和privdata属性针对不同类型的键值对,为多态字典而设置。
ht是包含两个项的数组,每个元素都是一个dictht哈希表,一般情况下字典之是哟个ht[0],ht[1]会在对ht[0]进行rehash的时候使用。
rehashidx记录了rehash目前的进度,如果目前没有在进行rehash,值为-1。

哈希算法

  • 使用字典设置的哈希函数,计算key的hashvalue

hash = dict->type->hashFunction(key);

  • 使用哈希表的sizemask属性和哈希值,计算出索引值
  • 根据不同的情况,ht[x]可以是ht[0]或ht[1]

index = hash & dict->ht[x].sizemask;

redis使用的是MurmurHash算法,优点是:输入的键是有规律的时候,算法仍然能给出很好的随机分布性,计算速度也快。

解决hash冲突

当有两个或以上的key分配到了hash table数组的同一个index上,称为发生了collision。
Redis采用链地址法解决冲突,每个hash table节点都有一个next指针,多个hash table节点可以用next指针构成一个单向链表。为了速度考虑,程序总是会将新节点插入到链表头位置。

rehash

随着操作不断执行,哈希表保存的key value对会逐渐增加和减少。哈希表有一个统计参数load factor,即负载因子,公式如下:

# 负载因子 = 哈希表已经保存的节点数量 / 哈希表大小
load_factor = ht[0].used / ht[0].size;

为了维持负载因子在一个合理的范围,程序会对哈希表的大小进行相应的扩展或收缩,条件如下:

1、服务器目前没有执行BGSAVE命令或者BGREWRITEAOF命令,并且哈希表的负载因子 >= 1

2、服务器正在执行BGSAVE命令或者BGREWRITEAOF命令,且负载因子 >= 5

  • 在执行BGSAVE命令或者BGREWRITEAOF命令过程中,Redis需要创建当前服务器进程的子进程,大多的OS采用写时复制技术优化子进程的使用效率,所以子进程存在期间,**服务器会提高执行扩展操作的负载因子,避免在子进程存在期间进行哈希表的扩展操作,避免不必要的内存写入操作,最大限度节约内存。**当负载因子小于0.1时,程序自动对哈希表进行收缩操作。
  • 此时就会进行扩展收缩,规则如下:
  • 这里就是rehash(重新散列)操作了:
  • 1、为字典的ht[1]哈希表分配内存空间,空间大小取决于要执行的操作,以及ht[0]当前包含的键值对数量(ht[0].used)
  • 如果是扩展操作,ht[1]的大小为 >= ht[0].used * 2的 2的幂次方
  • 如果是收缩操作,ht[1]的大小为 >= ht[0].used 的 2的幂次方
  • 2、将保存在ht[0]中的所有键值对rehash到ht[1]上:即重新计算key的hashValue以及indexValue,然后将键值对放到ht[1]的指定位置
  • 3、当ht[0]包含的所有键值对都迁移到ht[1]之后,ht[0]变为空表,释放ht[0],将ht[1]置为ht[0],在ht[1]重新分配一个空白的哈希表,为下一次rehash做准备

渐进式hash

rehash的动作并不是一次性集中完成的,而是分多次渐进完成。
如果哈希表中村的键值对数量很多,一次性将键值对全部rehash到ht[1]的计算量十分庞大,可能会导致服务器在一段时间内停止服务。
渐进式rehash采取分而治之的方法,将rehash键值对所需要的计算工作分摊到每次对字典的CRUD操作上,从而避免了集中式rehash带来的庞大计算量。
详细步骤如下:
1、为ht[1]分配空间,让字典同时持有ht[0]和ht[1]两个哈希表
2、在字典中维护一个索引计数器:rehashidx,将值设置为0,表示rehash工作正式开始。
3、在rehash进行期间,每次对字典的CRUD操作,程序除了执行指定操作以外,顺带将ht[0]哈希表在rehashidx索引上的所有键值对rehash到ht[1]上,当rehash操作完成后,程序将rehashidx值++
4、重复迭代操作执行后,ht[0]的数据全部rehash到ht[1]上,将rehashidx设为-1,表明rehash操作已经完成

需要注意的地方
在rehash的过程中,对于字典的删除、查找、更新操作会在两个哈希表上执行。如想要查找一个键,现在ht[0]中找,没有找到再去ht[1]
对于insert操作来说,新添加到字典的键值对会一律保存到ht[1]中,不然还得多一次搬运。

到此这篇关于Redis字典实现、Hash键冲突以及渐进式rehash的文章就介绍到这了,更多相关Redis 渐进式rehash内容请搜索三水点靠木以前的文章或继续浏览下面的相关文章希望大家以后多多支持三水点靠木!

Redis 相关文章推荐
基于Redis延迟队列的实现代码
May 13 Redis
详解redis分布式锁的这些坑
May 19 Redis
Windows下redis下载、redis安装及使用教程
Jun 02 Redis
在redisCluster中模糊获取key方式
Jul 09 Redis
Redis源码阅读:Redis字符串SDS详解
Jul 15 Redis
Redis高并发防止秒杀超卖实战源码解决方案
Nov 01 Redis
高并发下Redis如何保持数据一致性(避免读后写)
Mar 18 Redis
redis数据结构之压缩列表
Mar 21 Redis
sentinel支持的redis高可用集群配置详解
Apr 01 Redis
解决 redis 无法远程连接
May 15 Redis
Redis全局ID生成器的实现
Jun 05 Redis
Redis实现分布式锁的五种方法详解
Jun 14 Redis
基于Redis的List实现特价商品列表功能
Aug 30 #Redis
Redis 常见使用场景
Aug 30 #Redis
Redis入门教程详解
Redis如何实现分布式锁
Aug 23 #Redis
Redisson实现Redis分布式锁的几种方式
Redis分布式锁Redlock的实现
Aug 07 #Redis
关于redisson缓存序列化几枚大坑说明
Aug 04 #Redis
You might like
php数据库密码的找回的步骤
2011/01/12 PHP
php中删除数组的第一个元素和最后一个元素的函数
2015/03/07 PHP
PHP基本语法实例总结
2016/09/09 PHP
PHP对称加密算法(DES/AES)类的实现代码
2017/11/14 PHP
php 广告点击统计代码(php+mysql)
2018/02/21 PHP
鼠标右击事件代码(asp.net后台)
2011/01/27 Javascript
Jquery选择器中使用变量实现动态选择例子
2014/07/25 Javascript
jQuery插件pagination实现分页特效
2015/04/12 Javascript
jQuery实现高亮显示网页关键词的方法
2015/08/07 Javascript
ES6中非常实用的新特性介绍
2016/03/10 Javascript
js将字符串中的每一个单词的首字母变为大写其余均为小写
2017/01/05 Javascript
几种tab切换详解
2017/02/03 Javascript
Vue.js:使用Vue-Router 2实现路由功能介绍
2017/02/22 Javascript
webpack分离css单独打包的方法
2018/06/12 Javascript
使用NestJS开发Node.js应用的方法
2018/12/03 Javascript
Vue点击切换Class变化,实现Active当前样式操作
2020/07/17 Javascript
Vue在H5 项目中使用融云进行实时个人单聊通讯
2020/12/14 Vue.js
js动态添加带圆圈序号列表的实例代码
2021/02/18 Javascript
k8s node节点重新加入master集群的实现
2021/02/22 Javascript
Python文件的读写和异常代码示例
2017/10/31 Python
python检测空间储存剩余大小和指定文件夹内存占用的实例
2018/06/11 Python
python 输出所有大小写字母的方法
2019/01/02 Python
基于Python获取城市近7天天气预报
2019/11/26 Python
从训练好的tensorflow模型中打印训练变量实例
2020/01/20 Python
Python中求对数方法总结
2020/03/10 Python
Python 利用Entrez库筛选下载PubMed文献摘要的示例
2020/11/24 Python
html5桌面通知(Web Notifications)实例解析
2014/07/07 HTML / CSS
什么是触发器(trigger)? 触发器有什么作用?
2013/09/18 面试题
P/Invoke是什么
2015/07/31 面试题
给老婆大人的检讨书
2014/02/24 职场文书
2014年乡镇植树节活动方案
2014/02/28 职场文书
优秀大学生求职自荐信范文
2014/04/19 职场文书
团队拓展活动方案
2014/08/28 职场文书
党政领导班子民主生活会整改措施
2014/09/18 职场文书
中学生勤俭节约倡议书
2015/04/29 职场文书
董事长助理工作总结2015
2015/07/23 职场文书