浅谈Redis主从复制以及主从复制原理


Posted in Redis onMay 29, 2021

面临问题

1. 机器故障。我们部署到一台 Redis 服务器,当发生机器故障时,需要迁移到另外一台服务器并且要保证数据是同步的。而数据是最重要的,如果你不在乎,基本上也就不会使用 Redis 了。

2. 容量瓶颈。当我们有需求需要扩容 Redis 内存时,从 16G 的内存升到 64G,单机肯定是满足不了。当然,你可以重新买个 128G 的新机器。

解决办法

要实现分布式数据库的更大的存储容量和承受高并发访问量,我们会将原来集中式数据库的数据分别存储到其他多个网络节点上。Redis 为了解决这个单一节点的问题,也会把数据复制多个副本部署到其他节点上进行复制,实现 Redis 的高可用,实现对数据的冗余备份,从而保证数据和服务的高可用。

主从复制

主从复制,是指将一台 Redis 服务器的数据,复制到其他的 Redis 服务器。前者称为主节点(master),后者称为从节点(slave),数据的复制是单向的,只能由主节点到从节点。默认情况下,每台 Redis 服务器都是主节点;且一个主节点可以有多个从节点(或没有从节点),但一个从节点只能有一个主节点。

浅谈Redis主从复制以及主从复制原理

主从复制的作用

1. 数据冗余:主从复制实现了数据的热备份,是持久化之外的一种数据冗余方式。

2. 故障恢复:当主节点出现问题时,可以由从节点提供服务,实现快速的故障恢复;实际上是一种服务的冗余。

3. 负载均衡:在主从复制的基础上,配合读写分离,可以由主节点提供写服务,由从节点提供读服务(即写 Redis 数据时应用连接主节点,读 Redis 数据时应用连接从节点),分担服务器负载;尤其是在写少读多的场景下,通过多个从节点分担读负载,可以大大提高 Redis 服务器的并发量。

4. 读写分离:可以用于实现读写分离,主库写、从库读,读写分离不仅可以提高服务器的负载能力,同时可根据需求的变化,改变从库的数量;

5. 高可用基石:除了上述作用以外,主从复制还是哨兵和集群能够实施的基础,因此说主从复制是 Redis 高可用的基础。

主从复制启用

从节点开启主从复制,有 3 种方式:

1. 配 置 文 件 : 在 从 服 务 器 的 配 置 文 件 中 加 入 : slaveof <masterip>

<masterport>

2. 启动命令: redis-server 启 动 命 令 后 加 入 --slaveof <masterip>

<masterport>

3. 客户端命令: Redis 服务器启动后,直接通过客户端执行命令:slaveof

<masterip>

<masterport>,则该 Redis 实例成为从节点。

通过 info replication 命令可以看到复制的一些信息主从复制原理主从复制过程大体可以分为 3 个阶段:连接建立阶段(即准备阶段)、数据同步阶段、命令传播阶段。在从节点执行 slaveof 命令后,复制过程便开始运作,下面图示大概可以看到,从图中可以看出复制过程大致分为 6 个过程

浅谈Redis主从复制以及主从复制原理

主从配置之后的日志记录也可以看出这个流程

1)保存主节点(master)信息。执行 slaveof 后 Redis 会打印如下日志:

浅谈Redis主从复制以及主从复制原理

2)从节点(slave)内部通过每秒运行的定时任务维护复制相关逻辑,当定时任务发现存在新的主节点后,会尝试与该节点建立网络连接

浅谈Redis主从复制以及主从复制原理

从节点与主节点建立网络连接

从节点会建立一个 socket 套接字,从节点建立了一个端口为 51234 的套接字,专门用于接受主节点发送的复制命令。从节点连接成功后打印如下日志:

浅谈Redis主从复制以及主从复制原理

如果从节点无法建立连接,定时任务会无限重试直到连接成功或者执行 slaveof no one 取消复制关于连接失败,可以在从节点执行 info replication 查看master_link_down_since_seconds 指标,它会记录与主节点连接失败的系统时间。从节点连接主节点失败时也会每秒打印如下日志,方便发现问题:

# Error condition on socketforSYNC: {socket_error_reason}

3)发送 ping 命令。

连接建立成功后从节点发送 ping 请求进行首次通信,ping 请求主要目的如下:

  • 检测主从之间网络套接字是否可用。
  • 检测主节点当前是否可接受处理命令。

如果发送 ping 命令后,从节点没有收到主节点的 pong 回复或者超时,比如网络超时或者主节点正在阻塞无法响应命令,从节点会断开复制连接,下次定时任务会发起重连

浅谈Redis主从复制以及主从复制原理

浅谈Redis主从复制以及主从复制原理

从节点发送的 ping 命令成功返回,Redis 打印如下日志,并继续后续复制流程:

浅谈Redis主从复制以及主从复制原理

4)权限验证。如果主节点设置了 requirepass 参数,则需要密码验证,从节点必须配置 masterauth 参数保证与主节点相同的密码才能通过验证;如果验证失败复制将终止,从节点重新发起复制流程。

5)同步数据集。主从复制连接正常通信后,对于首次建立复制的场景,主节点会把持有的数据全部发送给从节点,这部分操作是耗时最长的步骤。

6)命令持续复制。当主节点把当前的数据同步给从节点后,便完成了复制的建立流程。接下来主节点会持续地把写命令发送给从节点,保证主从数据一致性。

以上就是浅谈Redis主从复制以及主从复制原理的详细内容,更多关于Redis主从复制以及主从复制原理的资料请关注三水点靠木其它相关文章!

Redis 相关文章推荐
Redis5之后版本的高可用集群搭建的实现
Apr 27 Redis
5分钟教你docker安装启动redis全教程(全新方式)
May 29 Redis
比较几种Redis集群方案
Jun 21 Redis
了解Redis常见应用场景
Jun 23 Redis
浅析Redis Sentinel 与 Redis Cluster
Jun 24 Redis
Redis集群的关闭与重启操作
Jul 07 Redis
Redis Cluster 集群搭建你会吗
Aug 04 Redis
Redis集群节点通信过程/原理流程分析
Mar 18 Redis
Redis超详细讲解高可用主从复制基础与哨兵模式方案
Apr 07 Redis
Redis基本数据类型List常用操作命令
Jun 01 Redis
利用Redis实现点赞功能的示例代码
Jun 28 Redis
5分钟教你docker安装启动redis全教程(全新方式)
May 29 #Redis
详解缓存穿透击穿雪崩解决方案
浅谈Redis的几个过期策略
May 27 #Redis
Redis Cluster 字段模糊匹配及删除
May 27 #Redis
redis哨兵常用命令和监控示例详解
May 27 #Redis
Java Socket实现Redis客户端的详细说明
May 26 #Redis
redis实现共同好友的思路详解
You might like
PHP表单验证的3个函数ISSET()、empty()、is_numeric()的使用方法
2011/08/22 PHP
PHP实现简单爬虫的方法
2015/07/29 PHP
Yii1.1中通过Sql查询进行的分页操作方法
2017/03/16 PHP
PHP7实现和CryptoJS的AES加密方式互通示例【AES-128-ECB加密】
2019/06/08 PHP
javascript字典探测用户名工具
2006/10/05 Javascript
为jquery.ui.dialog 增加“自动记住关闭时的位置”的功能
2009/11/24 Javascript
javascript开发技术大全-第3章 js数据类型
2011/07/03 Javascript
jquery 年会抽奖程序
2011/12/22 Javascript
jQuery Mobile 导航栏代码
2013/11/01 Javascript
自写的jQuery异步加载数据添加事件
2014/05/15 Javascript
node.js中的fs.lstatSync方法使用说明
2014/12/16 Javascript
分享一则JavaScript滚动条插件源码
2015/03/03 Javascript
JavaScript输出当前时间Unix时间戳的方法
2015/04/06 Javascript
JS仿QQ好友列表展开、收缩功能(第一篇)
2017/07/07 Javascript
Angular2生命周期钩子函数的详细介绍
2017/07/10 Javascript
React组件内事件传参实现tab切换的示例代码
2018/07/04 Javascript
layer实现弹出层自动调节位置
2019/09/05 Javascript
详解NodeJs项目 CentOs linux服务器线上部署
2019/09/16 NodeJs
kafka调试中遇到Connection to node -1 could not be established. Broker may not be available.
2019/09/17 Javascript
详解vuejs中执行npm run dev出现页面cannot GET/问题
2020/04/26 Javascript
用Python的Django框架编写从Google Adsense中获得报表的应用
2015/04/17 Python
Python实现的插入排序算法原理与用法实例分析
2017/11/22 Python
用Python进行简单图像识别(验证码)
2018/01/19 Python
Python内建模块struct实例详解
2018/02/02 Python
深入flask之异步非堵塞实现代码示例
2018/07/31 Python
AUC计算方法与Python实现代码
2020/02/28 Python
Python HTMLTestRunner可视化报告实现过程解析
2020/04/10 Python
python操作toml文件的示例代码
2020/11/27 Python
基于html5实现的图片墙效果
2014/10/16 HTML / CSS
HTML5 Video标签的属性、方法和事件汇总介绍
2015/04/24 HTML / CSS
全球知名的珠宝首饰品牌:Kay Jewelers
2018/02/11 全球购物
办公室文秘自我鉴定
2013/09/21 职场文书
财务管理个人自荐书范文
2013/11/24 职场文书
气象学专业个人求职信
2014/04/22 职场文书
人民调解员培训方案
2014/06/05 职场文书
水浒传读书笔记
2015/06/25 职场文书