详解Redis主从复制实践


Posted in Redis onMay 19, 2021

复制简介

Redis 作为一门非关系型数据库,其复制功能和关系型数据库(MySQL)来说,功能其实都是差不多,无外乎就是实现的原理不同。Redis 的复制功能也是相对于其他的内存性数据库(memcached)所具备特有的功能。

Redis 复制功能主要的作用,是集群、分片功能实现的基础;同时也是 Redis 实现高可用的一种策略,例如解决单机并发问题、数据安全性等等问题。

服务介绍

在本文环境演示中,有一台主机,启动了两个 Redis 示例。

详解Redis主从复制实践

实现方式

Redis 复制实现方式分为下面三种方式:

1. 服务启动时配置

该方式通过在启动 Redis 服务时,通过命令行参数,进行启动主从复制功能。该方式的弊端是不能实现配置持久化,当服务停掉之后,启动服务时,需要添加相同的命令参数。

1.1 master 服务器事先在 redis.confg 增加 requirepass 项。

requirepass 6379

1.2 启动从服务器。

redis-server --port 6380 --replicaof 192.168.2.102 6379

2. 命令行配置

该方式通过使用 redis-cli 进入操作行界面,进行配置。该方式的弊端是不能实现配置持久化,当服务停掉之后,启动服务需要执行同样的命令。

2.1 master 服务器执行。

127.0.0.1:6379> config set requirepass 6379
OK

2.2 从服务器执行。

127.0.0.1:6380> replicaof 192.168.2.102 6379
OK
127.0.0.1:6380> config set masterauth 6379
OK

3. 配置文件配置

该方式是通过 redis.conf 配置文件进行设置,能够实现配置的持久化,是一种推荐使用的方式。

3.1 配置主服务器,redis.config。

requirepass 6379

3.2 配置从服务器,redis.config。

masterauth 6379
replicaof 192.168.2.102 6379

4.配置说明

1.masterauth:设置 redis.confi 连接密码,如果设置了该值。其他客户端在连接该服务器时,需要添加密码才可以访问。

2.requirepass:设置主服务器的连接密码,和 1 中 masterauth 一致。

3.replicaof:从服务器连接到服务器的 IP 地址+端口号。

效果测试

1.主服务器添加数据

详解Redis主从复制实践

2.从服务器获取数据

详解Redis主从复制实践

实现原理

详解Redis主从复制实践

// uml图

@startuml

从服务器->主服务器: 1.保存配置

从服务器->主服务器: 2.建立socket连接

从服务器->主服务器: 3.发送ping命令

从服务器->主服务器: 4.权限验证

从服务器->主服务器: 5.同步数据

从服务器->主服务器: 6.持续复制数据

@enduml

主从复制主要实现的一个流程如上图:

1.第一步,从服务器保存主服务器的配置信息,保存之后待从服务器内部的定时器执行时,就会触发复制的流程。

2.第二步,从服务器首先会与主服务器建立一个socket套字节连接,用作主从通信使用。后面主服务器发送数据给从服务器也是通过该套字节进行。

3.第三步,socket套字节连接成功之后,接着发送鉴权ping命令,正常的情况下,主服务器会发送对应的响应。ping命令的作用是为了,保证socket套字节是否可以用,同时也是为了验证主服务器是否接受操作命令。

4.第四步,接着就是鉴权验证,判断从节点配置的主节点连接密码是否正确。

5.第五步,鉴权成功之后,就可以开始复制数据了。主服务器此时会进行全量复制,将主服务的数据全部发给从服务器,从服务器保存主服务器发送的数据。

6.接下来就是持续复制操作。主服务器会进行异步复制,一边将写的数据写入自身,同时会将新的写命令发送给从服务器。

实现策略

Redis主从复制主要分为三种弄策略方式,不同的策略方式都是针对不同的场景下进行使用。三种场景方式分别如下:

1.全量复制

全量复制用在主从复制刚建立时或者从切主服务器时,从服务器没有主服务器的数据,主服务器会将自身的数据通过rdb文件方式发送给从服务器,从服务器会清空自身数据,接着将主服务器发送的数据加载到自身中。

详解Redis主从复制实践

// uml图

@startuml

从服务器->主服务器: 1.psync ? -1

主服务器->从服务器: 2.fullsync runid offset

从服务器: 3.保存 runid offset

主服务器: 4.执行bgsave生成rdb

主服务器->从服务器: 5.发送rdb

从服务器: 6.清空自身老数据

从服务器: 7.加载主服务器数据

@enduml

2.部分复制

部分复制用在一些异常情况下,例如主从延迟、从服务宕机之后重新启动接收主服务器发送的部分数据。

部分复制的实现主要依赖于复制缓存区、主服务的runid、主从服务器各自的复制偏移量(offset)。

复制缓存区:主服务在接收写命令时,会将命令写入缓存区,以便从服务器在异常情况下,减少数据的丢失。当从服务器正常连接之后,主服务器会将缓存区内的数据发送给从服务器。这里的缓存区是一个长队列。

主服务器runid:主服务器会在每次服务启动之后,会生成一个唯一的ID,作为自身标识。从服务器会将该标识保存起来,发送部分复制命令时,会使用该runid。

psync runid offset

主从复制各自偏移量:主从服务在建立复制之后,都会有自身的偏移量。从节点会每秒钟发送自身复制的偏移量给从节点,主节点在发送写命令之后,从节点也会增加自身的复制偏移量。主节点在每次进行了写命令之后,也会增加自身的偏移量。这里的偏移量是通过命令的字节长度累加计算。

3.异步复制

异步复制是针对主从建立复制关系之后,主从服务器持续保持复制关系。

场景问题

1.数据安全

// 从服务器只读
replica-read-only yes
// 从服务器连接密码
masterauth

2.数据延迟

默认的情况下主节点存在新数据不会立即发送给从服务器,如果开启,则会理解发送给从服务器。默认的时间拒绝与Linux内核。

// 复制延迟
repl-disable-tcp-nodelay yes

3.主从节点连接状态

主从节点一旦建立连接之后,会定时模拟成对方的客户端,检测对方的服务状态。主节点可以通过设置repl-ping-replica-period配置参数进行设置。默认的频率是10s。

从节点咋执行replconf ack {offsetid}时,也会将自身的复制偏移量发送给主服务器,主服务根据偏移量进行判断数据延迟。存在数据延迟就会从复制积压缓冲区的数据汇中,将对应的数据补发给从节点。

以上就是详解Redis主从复制实践的详细内容,更多关于Redis主从复制实践的资料请关注三水点靠木其它相关文章!

Redis 相关文章推荐
使用Redis实现秒杀功能的简单方法
May 08 Redis
SpringBoot 集成Redis 过程
Jun 02 Redis
深入理解redis中multi与pipeline
Jun 02 Redis
聊一聊Redis与MySQL双写一致性如何保证
Jun 26 Redis
Redis的字符串是如何实现的
Oct 24 Redis
redis中lua脚本使用教程
Nov 01 Redis
Redis命令处理过程源码解析
Feb 12 Redis
源码分析Redis中 set 和 sorted set 的使用方法
Mar 22 Redis
Redis实现一个账号只能登录一个设备
Apr 19 Redis
Grafana可视化监控系统结合SpringBoot使用
Apr 19 Redis
Redis唯一ID生成器的实现
Jul 07 Redis
详解redis分布式锁的这些坑
为Java项目添加Redis缓存的方法
redis内存空间效率问题的深入探究
深入浅析Redis 集群伸缩原理
Redis延迟队列和分布式延迟队列的简答实现
基于Redis延迟队列的实现代码
基于Redis实现分布式锁的方法(lua脚本版)
You might like
解析MySql与Java的时间类型
2013/06/22 PHP
PHP基于单例模式实现的数据库操作基类
2016/01/15 PHP
老生常谈PHP面向对象之注册表模式
2017/05/26 PHP
理解JavaScript中的对象 推荐
2011/01/09 Javascript
Javascript验证上传图片大小[前台处理]
2014/07/18 Javascript
jQuery实现点击该行即可删除HTML表格行
2014/10/17 Javascript
javascript 常见功能汇总
2015/06/11 Javascript
JS模式之单例模式基本用法
2015/06/30 Javascript
javascript字符串替换函数如何一次性全部替换掉
2015/10/30 Javascript
javascript插件开发的一些感想和心得
2016/02/28 Javascript
jQuery EasyUI提交表单验证
2016/07/19 Javascript
如何在AngularJs中调用第三方插件库
2017/05/21 Javascript
vue2.0 与 bootstrap datetimepicker的结合使用实例
2017/05/22 Javascript
使用live-server快速搭建本地服务器+自动刷新的方法
2018/03/09 Javascript
Js中使用正则表达式验证输入是否有特殊字符
2018/09/07 Javascript
Python中__init__和__new__的区别详解
2014/07/09 Python
Python的垃圾回收机制深入分析
2014/07/16 Python
使用Scrapy爬取动态数据
2018/10/21 Python
python 获取utc时间转化为本地时间的方法
2018/12/31 Python
Python自定义一个类实现字典dict功能的方法
2019/01/19 Python
Python如何基于rsa模块实现非对称加密与解密
2020/01/03 Python
python如何编写win程序
2020/06/08 Python
记一次django内存异常排查及解决方法
2020/08/07 Python
Python 制作查询商品历史价格的小工具
2020/10/20 Python
物业管理个人自我评价
2013/11/08 职场文书
采购类个人求职的自我评价
2014/02/18 职场文书
《花木兰》教学反思
2014/04/09 职场文书
岗位明星事迹材料
2014/05/18 职场文书
建设办主任四风问题整改思路和措施
2014/09/20 职场文书
2014年中班下学期工作总结
2014/12/11 职场文书
关于学习的决心书
2015/02/05 职场文书
2015年小学中秋节活动总结
2015/03/23 职场文书
幼儿园家长心得体会
2016/01/21 职场文书
2019年妇科护士的自我鉴定(3篇)
2019/09/26 职场文书
Pytorch distributed 多卡并行载入模型操作
2021/06/05 Python
django中websocket的具体使用
2022/01/22 Python