浅谈Redis主从复制以及主从复制原理


Posted in Redis onMay 29, 2021

面临问题

1. 机器故障。我们部署到一台 Redis 服务器,当发生机器故障时,需要迁移到另外一台服务器并且要保证数据是同步的。而数据是最重要的,如果你不在乎,基本上也就不会使用 Redis 了。

2. 容量瓶颈。当我们有需求需要扩容 Redis 内存时,从 16G 的内存升到 64G,单机肯定是满足不了。当然,你可以重新买个 128G 的新机器。

解决办法

要实现分布式数据库的更大的存储容量和承受高并发访问量,我们会将原来集中式数据库的数据分别存储到其他多个网络节点上。Redis 为了解决这个单一节点的问题,也会把数据复制多个副本部署到其他节点上进行复制,实现 Redis 的高可用,实现对数据的冗余备份,从而保证数据和服务的高可用。

主从复制

主从复制,是指将一台 Redis 服务器的数据,复制到其他的 Redis 服务器。前者称为主节点(master),后者称为从节点(slave),数据的复制是单向的,只能由主节点到从节点。默认情况下,每台 Redis 服务器都是主节点;且一个主节点可以有多个从节点(或没有从节点),但一个从节点只能有一个主节点。

浅谈Redis主从复制以及主从复制原理

主从复制的作用

1. 数据冗余:主从复制实现了数据的热备份,是持久化之外的一种数据冗余方式。

2. 故障恢复:当主节点出现问题时,可以由从节点提供服务,实现快速的故障恢复;实际上是一种服务的冗余。

3. 负载均衡:在主从复制的基础上,配合读写分离,可以由主节点提供写服务,由从节点提供读服务(即写 Redis 数据时应用连接主节点,读 Redis 数据时应用连接从节点),分担服务器负载;尤其是在写少读多的场景下,通过多个从节点分担读负载,可以大大提高 Redis 服务器的并发量。

4. 读写分离:可以用于实现读写分离,主库写、从库读,读写分离不仅可以提高服务器的负载能力,同时可根据需求的变化,改变从库的数量;

5. 高可用基石:除了上述作用以外,主从复制还是哨兵和集群能够实施的基础,因此说主从复制是 Redis 高可用的基础。

主从复制启用

从节点开启主从复制,有 3 种方式:

1. 配 置 文 件 : 在 从 服 务 器 的 配 置 文 件 中 加 入 : slaveof <masterip>

<masterport>

2. 启动命令: redis-server 启 动 命 令 后 加 入 --slaveof <masterip>

<masterport>

3. 客户端命令: Redis 服务器启动后,直接通过客户端执行命令:slaveof

<masterip>

<masterport>,则该 Redis 实例成为从节点。

通过 info replication 命令可以看到复制的一些信息主从复制原理主从复制过程大体可以分为 3 个阶段:连接建立阶段(即准备阶段)、数据同步阶段、命令传播阶段。在从节点执行 slaveof 命令后,复制过程便开始运作,下面图示大概可以看到,从图中可以看出复制过程大致分为 6 个过程

浅谈Redis主从复制以及主从复制原理

主从配置之后的日志记录也可以看出这个流程

1)保存主节点(master)信息。执行 slaveof 后 Redis 会打印如下日志:

浅谈Redis主从复制以及主从复制原理

2)从节点(slave)内部通过每秒运行的定时任务维护复制相关逻辑,当定时任务发现存在新的主节点后,会尝试与该节点建立网络连接

浅谈Redis主从复制以及主从复制原理

从节点与主节点建立网络连接

从节点会建立一个 socket 套接字,从节点建立了一个端口为 51234 的套接字,专门用于接受主节点发送的复制命令。从节点连接成功后打印如下日志:

浅谈Redis主从复制以及主从复制原理

如果从节点无法建立连接,定时任务会无限重试直到连接成功或者执行 slaveof no one 取消复制关于连接失败,可以在从节点执行 info replication 查看master_link_down_since_seconds 指标,它会记录与主节点连接失败的系统时间。从节点连接主节点失败时也会每秒打印如下日志,方便发现问题:

# Error condition on socketforSYNC: {socket_error_reason}

3)发送 ping 命令。

连接建立成功后从节点发送 ping 请求进行首次通信,ping 请求主要目的如下:

  • 检测主从之间网络套接字是否可用。
  • 检测主节点当前是否可接受处理命令。

如果发送 ping 命令后,从节点没有收到主节点的 pong 回复或者超时,比如网络超时或者主节点正在阻塞无法响应命令,从节点会断开复制连接,下次定时任务会发起重连

浅谈Redis主从复制以及主从复制原理

浅谈Redis主从复制以及主从复制原理

从节点发送的 ping 命令成功返回,Redis 打印如下日志,并继续后续复制流程:

浅谈Redis主从复制以及主从复制原理

4)权限验证。如果主节点设置了 requirepass 参数,则需要密码验证,从节点必须配置 masterauth 参数保证与主节点相同的密码才能通过验证;如果验证失败复制将终止,从节点重新发起复制流程。

5)同步数据集。主从复制连接正常通信后,对于首次建立复制的场景,主节点会把持有的数据全部发送给从节点,这部分操作是耗时最长的步骤。

6)命令持续复制。当主节点把当前的数据同步给从节点后,便完成了复制的建立流程。接下来主节点会持续地把写命令发送给从节点,保证主从数据一致性。

以上就是浅谈Redis主从复制以及主从复制原理的详细内容,更多关于Redis主从复制以及主从复制原理的资料请关注三水点靠木其它相关文章!

Redis 相关文章推荐
浅谈Redis在直播场景的实践方案
Apr 27 Redis
使用Redis实现秒杀功能的简单方法
May 08 Redis
SpringBoot 集成Redis 过程
Jun 02 Redis
压缩Redis里的字符串大对象操作
Jun 23 Redis
linux下安装redis图文详细步骤
Dec 04 Redis
面试分析分布式架构Redis热点key大Value解决方案
Mar 13 Redis
redis数据一致性的实现示例
Mar 18 Redis
Redis高可用集群redis-cluster详解
Mar 20 Redis
解决redis批量删除key值的问题
Mar 23 Redis
redis调用二维码时的不断刷新排查分析
Apr 01 Redis
使用Redis实现分布式锁的方法
Jun 16 Redis
5分钟教你docker安装启动redis全教程(全新方式)
May 29 #Redis
详解缓存穿透击穿雪崩解决方案
浅谈Redis的几个过期策略
May 27 #Redis
Redis Cluster 字段模糊匹配及删除
May 27 #Redis
redis哨兵常用命令和监控示例详解
May 27 #Redis
Java Socket实现Redis客户端的详细说明
May 26 #Redis
redis实现共同好友的思路详解
You might like
自己前几天写的无限分类类
2007/02/14 PHP
PHP OPP机制和模式简介(抽象类、接口和契约式编程)
2014/06/09 PHP
PHP访问Google Search API的方法
2015/03/05 PHP
php通过array_push()函数添加多个变量到数组末尾的方法
2015/03/18 PHP
PHP计算近1年的所有月份
2017/03/13 PHP
POST一个JSON格式的数据给Restful服务实例详解
2017/04/07 PHP
javascript实现动态增加删除表格行(兼容IE/FF)
2007/04/02 Javascript
jQuery 位置插件
2008/12/25 Javascript
保证JavaScript和Asp、Php等后端程序间传值编码统一
2009/04/17 Javascript
jQuery选择器的工作原理和优化分析
2011/07/25 Javascript
使用js实现关闭js弹出层的窗口
2014/02/10 Javascript
把jQuery的类、插件封装成seajs的模块的方法
2014/03/12 Javascript
微信JS接口汇总及使用详解
2015/01/09 Javascript
jQuery弹出框代码封装DialogHelper
2015/01/30 Javascript
JS或jQuery获取ASP.NET服务器控件ID的方法
2015/06/08 Javascript
JS实现三个层重叠点击互相切换的方法
2015/10/06 Javascript
js组件SlotMachine实现图片切换效果制作抽奖系统
2016/04/17 Javascript
JavaScript实现焦点进入文本框内关闭输入法的核心代码
2017/09/20 Javascript
Nodejs调用WebService的示例代码
2017/09/29 NodeJs
vue element-ui 绑定@keyup事件无效的解决方法
2018/03/09 Javascript
js input输入百分号保存数据库失败的解决方法
2018/05/26 Javascript
微信小程序实现默认第一个选中变色效果
2018/07/17 Javascript
js实现ATM机存取款功能
2020/10/27 Javascript
浏览器事件循环与vue nextTicket的实现
2019/04/16 Javascript
vue移动端实现手机左右滑动入场动画
2020/06/17 Javascript
[00:53]2015国际邀请赛 中国区预选赛一触即发
2015/05/14 DOTA
在python中利用GDAL对tif文件进行读写的方法
2018/11/29 Python
浅析python3字符串格式化format()函数的简单用法
2018/12/07 Python
PyQt4 treewidget 选择改变颜色,并设置可编辑的方法
2019/06/17 Python
Python中一个for循环循环多个变量的示例
2019/07/16 Python
浅谈python中频繁的print到底能浪费多长时间
2020/02/21 Python
联想墨西哥官方网站:Lenovo墨西哥
2016/08/17 全球购物
Larsson & Jennings官网:现代瑞士钟表匠
2018/03/20 全球购物
高中军训感想300字
2014/03/04 职场文书
体育专业大学生职业生涯规划范文:打造自己的运动帝国
2014/09/12 职场文书
学生会2016感恩节活动小结
2016/04/01 职场文书