redis客户端实现高可用读写分离的方式详解


Posted in Redis onJuly 04, 2021

背景

(1) redis单机的读写性能轻松上大几万,不过线上环境不会只部署光秃秃的一个节点,还是会配合 sentinel 再部署一个 slave作为高可用节点的;
但是standby的slave节点是不对外提供服务端的,一定程度上造成了浪费资源

(2) 当业务不断发展,原来单节点缓存的数据(如,商品信息缓存、配置信息等)的查询qps不断升高(写qps增长不多),突破十几万、几十万的的时候,此时一个节点就扛不住了,我们就需要增加几个redis slaves节点来分担这些查询的压力 也就是读写分离

但是,常用的 redis 客户端jedis并不支持读写分离能力

实现方式

(1) 从配置中心获取 master 和 slaves 的连接信息,分别初始化好一个连接master的写连接池和一组slave的读连接池
(2) 将命令进行分类:执行写命令则从 master的连接池取连接然后执行,如果是读命令则从slave的连接池中取出连接执行
可能有多个slave节点,可以按照一定的策略进行负载均衡(权重、随机、轮询...etc) 从其中一个 slave节点的连接池获取连接

大概长这样:

redis客户端实现高可用读写分离的方式详解

高可用版本

前面的实现方式正常情况下是可以的

但是:
(1) 如果运行期间 master挂了怎么办? 如何自动 failover 切换?
(2) 如果流量突增,需要动态扩容一个或多个 slave节点,如何动态生效?

那就不能从配置文件取master和slaves的 ip+port 了,得从redis ha的组件去动态获取 当前master 和可用slave列表的节点信息 => sentinel

1.初始化

向 sentinel 发送命令获取master和slaves的节点信息

//获取当前masterName标识的当前master节点信息,哨兵可监控多个 mater ha,所以要用<masterName>区分
SENTINEL get-master-addr-by-name <masterName>
//获取可用的slaves列表信息
SENTINEL slaves <masterName>

redis客户端实现高可用读写分离的方式详解

拿到连接后,继续用开头的方式去创建连接池就行了

2. 动态failover、扩容

初始化完毕后,在运行期间master节点,和slaves还是可能变化的, 如
(1) master故障、网络分区,sentinel 提升一个slave为新的master
(2) 新增slave节点应对突增流量

我们如何能不重启客户端的情况下,动态切换?

sentinel 在进行master切换、slave变更等操作的时候都会向对应的 channel 发布事件,我们可以基于这些事件感知到相应的变化
参考: https://redis.io/topics/sentinel

2.1 failover切换 master

当 sentinel 进行master failover切换的时候,它会向channel: switch-master 发送通知,我们在客户端订阅这个channel,收到事件后,重新进行初始化的步骤即可

redis客户端实现高可用读写分离的方式详解

2.2 扩容slave

当新的 slave 节点加入, sentinel 感知到则会向channel: +slave 发布事件,我们监听到后,重新获取slaves节点信息重建slaves的连接池就可以了(这边不涉及master的变化)

redis客户端实现高可用读写分离的方式详解

总结

基于 sentienl 获取和动态感知 master、slaves节点信息的变化,我们的读写分离客户端就能具备高可用+动态扩容感知能力了;

到此这篇关于redis客户端实现高可用读写分离的文章就介绍到这了,更多相关redis读写分离内容请搜索三水点靠木以前的文章或继续浏览下面的相关文章希望大家以后多多支持三水点靠木!

Redis 相关文章推荐
基于Redis实现分布式锁的方法(lua脚本版)
May 12 Redis
深入浅析Redis 集群伸缩原理
May 15 Redis
k8s部署redis cluster集群的实现
Jun 24 Redis
聊一聊Redis与MySQL双写一致性如何保证
Jun 26 Redis
Redis性能监控的实现
Jul 09 Redis
springboot使用Redis作缓存使用入门教程
Jul 25 Redis
基于Redis结合SpringBoot的秒杀案例详解
Oct 05 Redis
使用Redis实现点赞取消点赞的详细代码
Mar 20 Redis
redis复制有可能碰到的问题汇总
Apr 03 Redis
Redis实战高并发之扣减库存项目
Apr 14 Redis
Redis基本数据类型Set常用操作命令
Jun 01 Redis
Redis基本数据类型String常用操作命令
Jun 01 Redis
使用Redis实现实时排行榜功能
Jul 02 #Redis
redis使用不当导致应用卡死bug的过程解析
Redis主从配置和底层实现原理解析(实战记录)
浅谈Redis中的RDB快照
聊一聊Redis与MySQL双写一致性如何保证
k8s部署redis cluster集群的实现
Jun 24 #Redis
浅析Redis Sentinel 与 Redis Cluster
You might like
php中使用__autoload()自动加载未定义类的实现代码
2013/02/06 PHP
PHP实现原比例生成缩略图的方法
2016/02/03 PHP
删除PHP数组中的重复元素的实现代码
2017/04/10 PHP
JavaScript 不只是脚本
2007/05/30 Javascript
基于Jquery的动态添加控件并取值的实现代码
2010/09/24 Javascript
JavaScript中的原型prototype属性使用详解
2015/06/05 Javascript
JS实现三级折叠菜单特效,其它级可自动收缩
2015/08/06 Javascript
JS+CSS实现电子商务网站导航模板效果代码
2015/09/10 Javascript
JS组件Bootstrap Table使用实例分享
2016/05/30 Javascript
很实用的js选项卡切换效果
2016/08/12 Javascript
jquery 正整数数字校验正则表达式
2017/01/10 Javascript
jQuery 控制文本框自动缩小字体填充
2017/06/16 jQuery
Vue上传组件vue Simple Uploader的用法示例
2017/08/25 Javascript
Node实战之不同环境下配置文件使用教程
2018/01/02 Javascript
微信小程序canvas实现刮刮乐效果
2018/07/09 Javascript
Typescript的三种运行方式(小结)
2019/09/18 Javascript
JQuery常用简单动画操作方法回顾与总结
2019/12/07 jQuery
在Echarts图中给坐标轴加一个标识线markLine
2020/07/20 Javascript
[01:27]2014DOTA2展望TI 剑指西雅图IG战队专访
2014/06/30 DOTA
[01:36:17]DOTA2-DPC中国联赛 正赛 Ehome vs iG BO3 第一场 1月31日
2021/03/11 DOTA
Python中使用Flask、MongoDB搭建简易图片服务器
2015/02/04 Python
如何处理Python3.4 使用pymssql 乱码问题
2016/01/08 Python
Python爬虫包BeautifulSoup实例(三)
2018/06/17 Python
Django admin禁用编辑链接和添加删除操作详解
2019/11/15 Python
css3强大的动画效果animate使用说明及浏览器兼容介绍
2013/01/09 HTML / CSS
澳大利亚便宜隐形眼镜购买网站:QUICKLENS Australia
2018/10/06 全球购物
Perfume’s Club意大利官网:欧洲美妆电商
2019/05/03 全球购物
长安大学毕业生自我鉴定
2014/01/17 职场文书
党员公开承诺事项
2014/03/25 职场文书
爱岗敬业演讲稿
2014/05/05 职场文书
2015年保险公司工作总结
2015/04/24 职场文书
2015年工商所工作总结
2015/05/21 职场文书
2019新学期家长会工作计划
2019/08/21 职场文书
nginx作grpc的反向代理踩坑总结
2021/07/07 Servers
Python各协议下socket黏包问题原理
2022/04/12 Python
Redis配置外网可访问(redis远程连接不上)的方法
2022/12/24 Redis