redis cluster支持pipeline的实现思路


Posted in Redis onJune 23, 2021

什么是pipeLine 为什么使用pipeLine ?

管道(pipeline)将客户端 client 与服务器端的交互明确划分为单向的发送请求(Send Request)和接收响应(Receive Response):用户可以将多个操作连续发给服务器,但在此期间服务器端并不对每个操作命令发送响应数据;全部请求发送完毕后用户关闭请求,开始接收响应获取每个操作命令的响应结果。

管道(pipeline)在某些场景下非常有用,比如有多个操作命令需要被迅速提交至服务器端,但用户并不依赖每个操作返回的响应结果,对结果响应也无需立即获得,那么管道就可以用来作为优化性能的批处理工具。性能提升的原因主要是减少了 TCP 连接中交互往返的开销。

不过在程序中使用管道请注意,使用 pipeline 时客户端将独占与服务器端的连接,此期间将不能进行其他“非管道”类型操作,直至 pipeline 被关闭;如果要同时执行其他操作,可以为 pipeline 操作单独建立一个连接,将其与常规操作分离开来。

当我们要操作一批key时,可以通过 redis pipline 再执行完后一次性读取所有结果来较少网络传输的消耗; 很明显,这有个限制条件 => 这批key的执行必须在同一个连接上

当部署的redis为 standalone 或 master-slave 结构的时候还好,可以从 pool 取出来的连接都是一个 master 节点的, 那要是 redis cluster 的时候怎么办? 这批key 可能在同一个 redis node 也可能分散在多个 redis nodes 这样就是多个连接了

redis cluster 虽然自动对 key 进行了分片,但是它对 client 的要求比较高,需要客户端连接所有 cluster 内的节点(这个和 db client方案类似)并缓存 slots分配信息,然后在客户端采用同样的算法进行hash后定位 key 的 slot 进而定位 slot 所属的 redis 节点,然后获取对应节点的连接发送命令

cluster pipeline 实现思路

java 常用的客户端 jedis,虽然提供了 redis-cluster 功能,但是并没有提供 cluster 下的 pipeline 能力,我们借助它封装好的 JedisClusterCRC16 工具去计算 slot 定位对应 redis node 的连接,按照 redis node 将这批 key 进行分组 ,那么每组 key 就能分别进行 pipeline 逻辑了

伪代码

static List<Integer, HostAndPort> slot2NodeMap; // 可以通过主动调用Jedis.clusterNodes获取slot映射关系,并缓存在本地

List<Object> clusterPipeline(List keys) {
	 Map<HostAndPort, List<String>> node2Keys= new HashMap<>();  // 节点对应keys分组
	for(String key : keys) {
	   // 计算key对应的slot
	   int slot = JedisClusterCRC16.getSlot(key); 
	   // 根据slot获取对应的节点信息,将同一节点的key收在一组
	  node2Keys.get(slot2NodeMap.get(slot)).add(key);
	}

    List<Object> results = new ArrayList();
	// 分组执行
	for (Map.Entry<HostAndPort, List<String>> group : node2Keys) {
		Jedis jedis =  JedisClusterConnectionHandler.getConnectionFromNode(group.key);
		PipeLine pipeline = jedis.pipelined();
		// 执行本组keys 
		 result.addAll(jedis.syncAndReturnAll());
	}
   return results;
}

注意:在 cluster 上执行 pipeline 可能会由于 redis 节点扩缩容 中途 redirection 切换连接导致结果丢失; 可以把 attempts 重试次数设为0 不允许自动切换连接 以感知到异常,然后业务主动进行重试

jedis 官方支持?

github 上其实2017年就有人提交了 cluster pipeline 的pr,维护人员也很乐意 merge 但是~~ 后续跟进比较慢,然后19年 merge review的时候有些异常,提交人也没再跟进,导致一直没有合并成功;
https://github.com/redis/jedis/pull/1455

redis cluster支持pipeline的实现思路
redis cluster支持pipeline的实现思路

实现 cluster pipeline 也可以参考这个pr 的提交代码

以上就是redis cluster支持pipeline的实现思路的详细内容,更多关于redis cluster支持pipeline的资料请关注三水点靠木其它相关文章!

Redis 相关文章推荐
Redis6.0搭建集群Redis-cluster的方法
May 08 Redis
redis 限制内存使用大小的实现
May 08 Redis
Redis 哨兵集群的实现
Jun 18 Redis
Springboot/Springcloud项目集成redis进行存取的过程解析
Dec 04 Redis
redis的list数据类型相关命令介绍及使用
Jan 18 Redis
Redis集群节点通信过程/原理流程分析
Mar 18 Redis
Redis官方可视化工具RedisInsight安装使用教程
Apr 19 Redis
windows安装 redis 6.2.6最新步骤详解
Apr 26 Redis
Redis基本数据类型Set常用操作命令
Jun 01 Redis
Redis基本数据类型String常用操作命令
Jun 01 Redis
浅谈Redis变慢的原因及排查方法
Jun 21 Redis
了解Redis常见应用场景
Jun 23 #Redis
压缩Redis里的字符串大对象操作
你真的了解redis为什么要提供pipeline功能
Redis缓存-序列化对象存储乱码问题的解决
比较几种Redis集群方案
解析Redis Cluster原理
解析高可用Redis服务架构分析与搭建方案
You might like
phpmyadmin操作流程
2006/10/09 PHP
PHP Ajax中文乱码问题解决方法
2009/02/27 PHP
php下将多个数组合并成一个数组的方法与实例代码
2011/02/03 PHP
PHP中PDO基础教程 入门级
2011/09/04 PHP
深入理解PHP之数组(遍历顺序)  Laruence原创
2012/06/13 PHP
ThinkPHP结合AjaxFileUploader实现无刷新文件上传的方法
2014/10/29 PHP
thinkphp使用literal防止模板标签被解析的方法
2014/11/22 PHP
php强制用户转向www域名的方法
2015/06/19 PHP
非集成环境的php运行环境(Apache配置、Mysql)搭建安装图文教程
2016/04/12 PHP
PHP文件与目录操作示例
2016/12/24 PHP
php模拟post提交请求调用接口示例解析
2020/08/07 PHP
基于jquery的弹出提示框始终处于窗口的居中位置(类似于alert弹出框的效果)
2011/09/28 Javascript
js判断游览器类型及版本号的代码
2014/05/11 Javascript
Javascript检查图片大小不要让大图片撑破页面
2014/11/04 Javascript
浅谈setTimeout 与 setInterval
2015/06/23 Javascript
JavaScript中几种排序算法的简单实现
2015/07/29 Javascript
基于jquery fly插件实现加入购物车抛物线动画效果
2016/04/05 Javascript
原生JavaScript编写canvas版的连连看游戏
2016/05/29 Javascript
浅谈JavaScript的全局变量与局部变量
2016/06/10 Javascript
AngularJS基础 ng-submit 指令简单示例
2016/08/03 Javascript
概述一个页面从输入URL到页面加载完的过程
2016/12/16 Javascript
详解AngularJS controller调用factory
2017/05/19 Javascript
Nodejs实现多文件夹文件同步
2018/10/17 NodeJs
layui实现根据table数据判断按钮显示情况的方法
2019/09/26 Javascript
JavaScript中的函数式编程详解
2020/08/22 Javascript
在Python中操作时间之strptime()方法的使用
2020/12/30 Python
利用Python批量压缩png方法实例(支持过滤个别文件与文件夹)
2017/07/30 Python
Python如何生成树形图案
2018/01/03 Python
Python基础教程之利用期物处理并发
2018/03/29 Python
使用pygame实现垃圾分类小游戏功能(已获校级二等奖)
2020/07/23 Python
澳大利亚第一的设计师礼服租赁网站:GlamCorner
2017/08/13 全球购物
村捐赠仪式答谢词
2014/01/21 职场文书
数控技校生自我鉴定
2014/03/02 职场文书
关于环保的标语
2014/06/13 职场文书
趣味运动会标语口号
2015/12/26 职场文书
win10如何开启ahci模式?win10开启ahci模式详细操作教程
2022/07/23 数码科技