redis客户端实现高可用读写分离的方式详解


Posted in Redis onJuly 04, 2021

背景

(1) redis单机的读写性能轻松上大几万,不过线上环境不会只部署光秃秃的一个节点,还是会配合 sentinel 再部署一个 slave作为高可用节点的;
但是standby的slave节点是不对外提供服务端的,一定程度上造成了浪费资源

(2) 当业务不断发展,原来单节点缓存的数据(如,商品信息缓存、配置信息等)的查询qps不断升高(写qps增长不多),突破十几万、几十万的的时候,此时一个节点就扛不住了,我们就需要增加几个redis slaves节点来分担这些查询的压力 也就是读写分离

但是,常用的 redis 客户端jedis并不支持读写分离能力

实现方式

(1) 从配置中心获取 master 和 slaves 的连接信息,分别初始化好一个连接master的写连接池和一组slave的读连接池
(2) 将命令进行分类:执行写命令则从 master的连接池取连接然后执行,如果是读命令则从slave的连接池中取出连接执行
可能有多个slave节点,可以按照一定的策略进行负载均衡(权重、随机、轮询...etc) 从其中一个 slave节点的连接池获取连接

大概长这样:

redis客户端实现高可用读写分离的方式详解

高可用版本

前面的实现方式正常情况下是可以的

但是:
(1) 如果运行期间 master挂了怎么办? 如何自动 failover 切换?
(2) 如果流量突增,需要动态扩容一个或多个 slave节点,如何动态生效?

那就不能从配置文件取master和slaves的 ip+port 了,得从redis ha的组件去动态获取 当前master 和可用slave列表的节点信息 => sentinel

1.初始化

向 sentinel 发送命令获取master和slaves的节点信息

//获取当前masterName标识的当前master节点信息,哨兵可监控多个 mater ha,所以要用<masterName>区分
SENTINEL get-master-addr-by-name <masterName>
//获取可用的slaves列表信息
SENTINEL slaves <masterName>

redis客户端实现高可用读写分离的方式详解

拿到连接后,继续用开头的方式去创建连接池就行了

2. 动态failover、扩容

初始化完毕后,在运行期间master节点,和slaves还是可能变化的, 如
(1) master故障、网络分区,sentinel 提升一个slave为新的master
(2) 新增slave节点应对突增流量

我们如何能不重启客户端的情况下,动态切换?

sentinel 在进行master切换、slave变更等操作的时候都会向对应的 channel 发布事件,我们可以基于这些事件感知到相应的变化
参考: https://redis.io/topics/sentinel

2.1 failover切换 master

当 sentinel 进行master failover切换的时候,它会向channel: switch-master 发送通知,我们在客户端订阅这个channel,收到事件后,重新进行初始化的步骤即可

redis客户端实现高可用读写分离的方式详解

2.2 扩容slave

当新的 slave 节点加入, sentinel 感知到则会向channel: +slave 发布事件,我们监听到后,重新获取slaves节点信息重建slaves的连接池就可以了(这边不涉及master的变化)

redis客户端实现高可用读写分离的方式详解

总结

基于 sentienl 获取和动态感知 master、slaves节点信息的变化,我们的读写分离客户端就能具备高可用+动态扩容感知能力了;

到此这篇关于redis客户端实现高可用读写分离的文章就介绍到这了,更多相关redis读写分离内容请搜索三水点靠木以前的文章或继续浏览下面的相关文章希望大家以后多多支持三水点靠木!

Redis 相关文章推荐
解决redis sentinel 频繁主备切换的问题
Apr 12 Redis
redis配置文件中常用配置详解
Apr 14 Redis
为Java项目添加Redis缓存的方法
May 18 Redis
redis实现的四种常见限流策略
Jun 18 Redis
redis cluster支持pipeline的实现思路
Jun 23 Redis
详解redis在微服务领域的贡献
Oct 16 Redis
redis中lua脚本使用教程
Nov 01 Redis
redis的list数据类型相关命令介绍及使用
Jan 18 Redis
使用Redis实现点赞取消点赞的详细代码
Mar 20 Redis
redis数据结构之压缩列表
Mar 21 Redis
解决 Redis 秒杀超卖场景的高并发
Apr 12 Redis
Redis特殊数据类型HyperLogLog基数统计算法讲解
Jun 01 Redis
使用Redis实现实时排行榜功能
Jul 02 #Redis
redis使用不当导致应用卡死bug的过程解析
Redis主从配置和底层实现原理解析(实战记录)
浅谈Redis中的RDB快照
聊一聊Redis与MySQL双写一致性如何保证
k8s部署redis cluster集群的实现
Jun 24 #Redis
浅析Redis Sentinel 与 Redis Cluster
You might like
php生成缩略图示例代码分享(使用gd库实现)
2014/01/20 PHP
php中session_id()函数详细介绍,会话id生成过程及session id长度
2015/09/23 PHP
学习php设计模式 php实现状态模式
2015/12/07 PHP
PHP的Laravel框架中使用AdminLTE模板来编写网站后台界面
2016/03/21 PHP
thinkPHP简单调用函数与类库的方法
2017/03/15 PHP
JavaScript入门之基本函数详解
2011/10/21 Javascript
JavaScript类属性的访问方式详解
2014/02/11 Javascript
javascript 回到顶部效果的实现代码
2014/02/17 Javascript
jQuery中extend函数的实现原理详解
2015/02/03 Javascript
Node.js操作mysql数据库增删改查
2016/03/30 Javascript
jQuery中借助deferred来请求及判断AJAX加载的实例讲解
2016/05/24 Javascript
JS简单验证上传文件类型的方法
2017/04/17 Javascript
JavaScript面向对象的程序设计(犯迷糊的小羊)
2018/05/27 Javascript
详解js 创建对象的几种方法
2019/03/08 Javascript
Element-ui中元素滚动时el-option超出元素区域的问题
2019/05/30 Javascript
JS中FormData类实现文件上传
2020/03/27 Javascript
[47:48]DOTA2上海特级锦标赛D组小组赛#2 Liquid VS VP第三局
2016/02/28 DOTA
[53:10]Secret vs Pain 2018国际邀请赛小组赛BO2 第一场 8.17
2018/08/20 DOTA
python使用rsa加密算法模块模拟新浪微博登录
2014/01/22 Python
python使用arp欺骗伪造网关的方法
2015/04/24 Python
python获取一组数据里最大值max函数用法实例
2015/05/26 Python
Python编码爬坑指南(必看)
2016/06/10 Python
Python中运算符&quot;==&quot;和&quot;is&quot;的详解
2016/10/08 Python
详解python中自定义超时异常的几种方法
2019/07/29 Python
Django在admin后台集成TinyMCE富文本编辑器的例子
2019/08/09 Python
CSS3教程:新增加的结构伪类
2009/04/02 HTML / CSS
俄罗斯最大的在线珠宝大卖场:Nebo
2019/12/08 全球购物
总会计师岗位职责
2014/02/19 职场文书
四下基层实施方案
2014/03/28 职场文书
社区班子个人对照检查材料思想汇报
2014/10/07 职场文书
风雨哈佛路观后感
2015/06/03 职场文书
走近毛泽东观后感
2015/06/04 职场文书
幼儿园中班班级总结
2015/08/10 职场文书
歌咏比赛口号大全
2015/12/25 职场文书
银行大堂经理培训心得体会
2016/01/09 职场文书
Redis实现主从复制方式(Master&Slave)
2022/06/21 Redis