redis客户端实现高可用读写分离的方式详解


Posted in Redis onJuly 04, 2021

背景

(1) redis单机的读写性能轻松上大几万,不过线上环境不会只部署光秃秃的一个节点,还是会配合 sentinel 再部署一个 slave作为高可用节点的;
但是standby的slave节点是不对外提供服务端的,一定程度上造成了浪费资源

(2) 当业务不断发展,原来单节点缓存的数据(如,商品信息缓存、配置信息等)的查询qps不断升高(写qps增长不多),突破十几万、几十万的的时候,此时一个节点就扛不住了,我们就需要增加几个redis slaves节点来分担这些查询的压力 也就是读写分离

但是,常用的 redis 客户端jedis并不支持读写分离能力

实现方式

(1) 从配置中心获取 master 和 slaves 的连接信息,分别初始化好一个连接master的写连接池和一组slave的读连接池
(2) 将命令进行分类:执行写命令则从 master的连接池取连接然后执行,如果是读命令则从slave的连接池中取出连接执行
可能有多个slave节点,可以按照一定的策略进行负载均衡(权重、随机、轮询...etc) 从其中一个 slave节点的连接池获取连接

大概长这样:

redis客户端实现高可用读写分离的方式详解

高可用版本

前面的实现方式正常情况下是可以的

但是:
(1) 如果运行期间 master挂了怎么办? 如何自动 failover 切换?
(2) 如果流量突增,需要动态扩容一个或多个 slave节点,如何动态生效?

那就不能从配置文件取master和slaves的 ip+port 了,得从redis ha的组件去动态获取 当前master 和可用slave列表的节点信息 => sentinel

1.初始化

向 sentinel 发送命令获取master和slaves的节点信息

//获取当前masterName标识的当前master节点信息,哨兵可监控多个 mater ha,所以要用<masterName>区分
SENTINEL get-master-addr-by-name <masterName>
//获取可用的slaves列表信息
SENTINEL slaves <masterName>

redis客户端实现高可用读写分离的方式详解

拿到连接后,继续用开头的方式去创建连接池就行了

2. 动态failover、扩容

初始化完毕后,在运行期间master节点,和slaves还是可能变化的, 如
(1) master故障、网络分区,sentinel 提升一个slave为新的master
(2) 新增slave节点应对突增流量

我们如何能不重启客户端的情况下,动态切换?

sentinel 在进行master切换、slave变更等操作的时候都会向对应的 channel 发布事件,我们可以基于这些事件感知到相应的变化
参考: https://redis.io/topics/sentinel

2.1 failover切换 master

当 sentinel 进行master failover切换的时候,它会向channel: switch-master 发送通知,我们在客户端订阅这个channel,收到事件后,重新进行初始化的步骤即可

redis客户端实现高可用读写分离的方式详解

2.2 扩容slave

当新的 slave 节点加入, sentinel 感知到则会向channel: +slave 发布事件,我们监听到后,重新获取slaves节点信息重建slaves的连接池就可以了(这边不涉及master的变化)

redis客户端实现高可用读写分离的方式详解

总结

基于 sentienl 获取和动态感知 master、slaves节点信息的变化,我们的读写分离客户端就能具备高可用+动态扩容感知能力了;

到此这篇关于redis客户端实现高可用读写分离的文章就介绍到这了,更多相关redis读写分离内容请搜索三水点靠木以前的文章或继续浏览下面的相关文章希望大家以后多多支持三水点靠木!

Redis 相关文章推荐
Redis遍历所有key的两个命令(KEYS 和 SCAN)
Apr 12 Redis
浅谈Redis在直播场景的实践方案
Apr 27 Redis
在K8s上部署Redis集群的方法步骤
Apr 27 Redis
Redis5之后版本的高可用集群搭建的实现
Apr 27 Redis
分布式锁为什么要选择Zookeeper而不是Redis?看完这篇你就明白了
May 21 Redis
redis 存储对象的方法对比分析
Aug 02 Redis
Jedis操作Redis实现模拟验证码发送功能
Sep 25 Redis
Window server中安装Redis的超详细教程
Nov 17 Redis
面试分析分布式架构Redis热点key大Value解决方案
Mar 13 Redis
redis调用二维码时的不断刷新排查分析
Apr 01 Redis
Redis特殊数据类型bitmap位图
Jun 01 Redis
Redis特殊数据类型HyperLogLog基数统计算法讲解
Jun 01 Redis
使用Redis实现实时排行榜功能
Jul 02 #Redis
redis使用不当导致应用卡死bug的过程解析
Redis主从配置和底层实现原理解析(实战记录)
浅谈Redis中的RDB快照
聊一聊Redis与MySQL双写一致性如何保证
k8s部署redis cluster集群的实现
Jun 24 #Redis
浅析Redis Sentinel 与 Redis Cluster
You might like
了解咖啡雨林联盟认证 什么是雨林认证 雨林认证是什么意思
2021/03/05 新手入门
PHP 截取字符串专题集合
2010/08/19 PHP
MySQL连接数超过限制的解决方法
2011/07/17 PHP
Yii实现MySQL多数据库和读写分离实例分析
2014/12/03 PHP
php 根据自增id创建唯一编号类
2017/04/06 PHP
php实现微信小程序授权登录功能(实现流程)
2019/11/13 PHP
Laravel5.1 框架表单验证操作实例详解
2020/01/07 PHP
新浪刚打开页面出来的全屏广告代码
2007/04/02 Javascript
利用js制作html table分页示例(js实现分页)
2014/04/25 Javascript
JavaScript将取代AppleScript?
2014/09/18 Javascript
jQuery实现炫酷的鼠标轨迹特效
2015/02/01 Javascript
jQuery菜单插件用法实例
2015/07/25 Javascript
Bootstrap每天必学之弹出框(Popover)插件
2016/04/25 Javascript
jquery实现的table排序功能示例
2017/03/10 Javascript
详解angularJS自定义指令间的相互交互
2017/07/05 Javascript
vue.js实现插入数值与表达式的方法分析
2018/07/06 Javascript
如何使用VuePress搭建一个类型element ui文档
2019/02/14 Javascript
JS计算两个数组的交集、差集、并集、补集(多种实现方式)
2019/05/21 Javascript
vue 需求 data中的数据之间的调用操作
2020/08/05 Javascript
vue select 获取value和lable操作
2020/08/28 Javascript
php使用递归与迭代实现快速排序示例
2014/01/23 Python
web.py 十分钟创建简易博客实现代码
2016/04/22 Python
python实现截取屏幕保存文件,删除N天前截图的例子
2019/08/27 Python
python列表插入append(), extend(), insert()用法详解
2019/09/14 Python
python 实现rolling和apply函数的向下取值操作
2020/06/08 Python
python中rb含义理解
2020/06/18 Python
Python 使用office365邮箱的示例
2020/10/29 Python
Python调用高德API实现批量地址转经纬度并写入表格的功能
2021/01/12 Python
linux面试题参考答案(7)
2014/07/24 面试题
介绍一下gcc特性
2015/10/31 面试题
行政专员工作职责
2013/12/22 职场文书
服装行业创业计划书范文
2014/02/05 职场文书
市场部业务员岗位职责
2014/04/02 职场文书
治理商业贿赂工作总结
2015/08/10 职场文书
写作之关于描写老人的好段摘抄
2019/11/14 职场文书
Python中的程序流程控制语句
2022/02/24 Python