Redis主从配置和底层实现原理解析(实战记录)


Posted in Redis onJune 30, 2021

我们使用Redis的时候往往都是主从模式或者集群架构,不会使用单台Redis服务。

一、Redis主从配置实战

我们使用master节点写输入,然后将数据同步到slave节点,从节点可以提供读取或者备份的功能,分担master节点压力。

Redis主从配置和底层实现原理解析(实战记录)

redis主从架构搭建,配置从节点步骤

1、 复制一份redis.conf文件为redis-6380.conf

cp ./redis.conf ./conf/redis-6380.conf

2、打开redis-6380.conf配置文件,将相关配置修改为如下值:

port 6380
pidfile /var/run/redis_6380.pid # 把pid进程号写入pidfile配置的文件
logfile "6380.log"
dir /usr/local/redis?5.0.3/data/6380 # 指定数据存放目录
# 需要注释掉bind
# bind 127.0.0.1(bind绑定的是自己机器网卡的ip,如果有多块网卡可以配多个ip,代表允许客户端通过机器的哪些网卡ip去访问,内网一般可以不配置bind,注释掉即可)

3、在redis-6380.conf中配置主从复制

replicaof 192.168.0.60 6379 # 从本机6379的redis实例复制数据,Redis 5.0之前使用slaveof. 这里的IP是redis服务IP
replica?read?only yes # 配置从节点只读

注意: 如果的时候发现从节点中始终是空,即没有同步到主节点的数据,可能是192.168.0.60的设置问题,如果是主从都在一台服务器上,可以试试改成127.0.0.1.
4、启动从节点

注意一下命令,我这里是相对路径。

./src/redis-server ./conf/redis-6380.conf

然后我们查看redis服务实例,发现6379和6380都已经启动了。

Redis主从配置和底层实现原理解析(实战记录)

5、连接从节点

[root@localhost redis-6.2.3]# ./src/redis-cli -p 6380
127.0.0.1:6380>

查看是否同步了数据:

127.0.0.1:6380> keys *
1) "test3"
2) "tul2"
3) "tul"
4) "tul3"
5) "test1"
6) "yaolao"
7) "test2"
127.0.0.1:6380>

注意: 如果的时候发现从节点中始终是空,即没有同步到主节点的数据,可能是192.168.0.60的设置问题,如果是主从都在一台服务器上,可以试试改成127.0.0.1试试。、

6、测试在6379实例上写数据,6380实例是否能及时同步新修改数据

7、可以自己再配置一个6381的从节点

至此。,我们的主从配置就完成了。我们可以自己去配置多个从节点。

二、主从实现原理

如果你为master配置了一个slave,不管这个slave是否是第一次连接上Master,它都会发送一个PSYNC命令给master请求复制数据。

master收到PSYNC命令后,会在后台进行数据持久化通过bgsave生成最新的rdb快照文件,持久化期间,master会继续接收客户端的请求,它会把这些可能修改数据集的请求缓存在内存中。当持久化进行完毕以后,master会把这份rdb文件数据集发送给slave,slave会把接收到的数据进行持久化生成rdb,然后再加载到内存中。然后,master再将之前缓存在内存中的命令发送给slave。

当master与slave之间的连接由于某些原因而断开时,slave能够自动重连Master,如果master收到了多
个slave并发连接请求,它只会进行一次持久化,而不是一个连接一次,然后再把这一份持久化的数据发送
给多个并发连接的slave。

主从复制(全量复制)流程图

Redis主从配置和底层实现原理解析(实战记录)

psync命令是redis底层的C语言实现的。

数据部分复制

当master和slave断开重连后,一般都会对整份数据进行复制。但从redis2.8版本开始,redis改用可以支持部分数据复制的命令PSYNC去master同步数据,slave与master能够在网络连接断开重连后只进行部分数据复制(断点续传)。

master会在其内存中创建一个复制数据用的缓存队列,缓存最近一段时间的数据,master和它所有的slave都维护了复制的数据下标offset和master的进程id,因此,当网络连接断开后,slave会请求master继续进行未完成的复制,从所记录的数据下标开始。如果master进程id变化了,或者从节点数据下标offset太旧,已经不在master的缓存队列里了,那么将会进行一次全量数据的复制。

主从复制(部分复制,断点续传)流程图:

如果slave节点挂了之后,只想同步新增的数据(不需要同步全部)。

最新的命令redis会写到repl backlog buffer(默认大小是1MB)这个缓冲区中。

Redis主从配置和底层实现原理解析(实战记录)

offset是偏移量,即上次复制产生的偏移量,再一次复制新的数据的时候只需要从这个偏移量后面开始复制即可。注意,这种只适合几分钟之内的。

如果从缓冲区没有找到传过来的这个偏移量,说明从节点可能挂了非常久的时间,这时候需要做全量复制,而不是断点续传了。

缓解主从复制风暴

如果有很多从节点,为了缓解主从复制风暴(多个从节点同时复制主节点导致主节点压力过大),可以做如下架构,让部分从节点与从节点(与主节点同步)同步数据,即配置主从的ip地址可以写某个从节点的,而不是都写mast节点的IP.

Redis主从配置和底层实现原理解析(实战记录)

到此这篇关于Redis主从配置和底层实现原理解析(实战记录)的文章就介绍到这了,更多相关Redis主从配置内容请搜索三水点靠木以前的文章或继续浏览下面的相关文章希望大家以后多多支持三水点靠木!

Redis 相关文章推荐
基于Redis实现分布式锁的方法(lua脚本版)
May 12 Redis
详解缓存穿透击穿雪崩解决方案
May 28 Redis
深入理解redis中multi与pipeline
Jun 02 Redis
Redis 哨兵集群的实现
Jun 18 Redis
Redis集群的关闭与重启操作
Jul 07 Redis
解析redis hash应用场景和常用命令
Aug 04 Redis
Redis中缓存穿透/击穿/雪崩问题和解决方法
Dec 04 Redis
Redis+Lua脚本实现计数器接口防刷功能(升级版)
Feb 12 Redis
redis sentinel监控高可用集群实现的配置步骤
Apr 01 Redis
Redis实现一个账号只能登录一个设备
Apr 19 Redis
Redis官方可视化工具RedisInsight安装使用教程
Apr 19 Redis
详解Redis的三种常用的缓存读写策略步骤
May 06 Redis
浅谈Redis中的RDB快照
聊一聊Redis与MySQL双写一致性如何保证
k8s部署redis cluster集群的实现
Jun 24 #Redis
浅析Redis Sentinel 与 Redis Cluster
redis cluster支持pipeline的实现思路
了解Redis常见应用场景
Jun 23 #Redis
压缩Redis里的字符串大对象操作
You might like
windwos下使用php连接oracle数据库的过程分享
2014/05/26 PHP
PHP实现的简单网络硬盘
2015/07/29 PHP
Thinkphp 框架扩展之标签库驱动原理与用法分析
2020/04/23 PHP
JQuyer $.post 与 $.ajax 访问WCF ajax service 时的问题需要注意的地方
2011/09/20 Javascript
表单元素的submit()方法和onsubmit事件应用概述
2013/02/01 Javascript
关于javascript event flow 的一个bug详解
2013/09/17 Javascript
JS字符串截取函数实例
2013/12/27 Javascript
原生JS和JQuery动态添加、删除表格行的方法
2015/05/28 Javascript
JS实现跟随鼠标的链接文字提示框效果
2015/08/06 Javascript
跟我学习javascript的隐式强制转换
2015/11/16 Javascript
nodejs利用http模块实现银行卡所属银行查询和骚扰电话验证示例
2016/12/30 NodeJs
整理关于Bootstrap列表组的慕课笔记
2017/03/29 Javascript
12个非常有用的JavaScript技巧
2017/05/17 Javascript
Bootstrap 表单验证formValidation 实现远程验证功能
2017/05/17 Javascript
vue单页应用中如何使用jquery的方法示例
2017/07/27 jQuery
js时间戳与日期格式之间转换详解
2017/12/11 Javascript
vue使用中的内存泄漏【推荐】
2018/07/10 Javascript
Nuxt.js实现一个SSR的前端博客的示例代码
2019/09/06 Javascript
基于jQuery实现挂号平台首页源码
2020/01/06 jQuery
小程序实现列表展开收起效果
2020/07/29 Javascript
Python的Tornado框架异步编程入门实例
2015/04/24 Python
Python常用爬虫代码总结方便查询
2019/02/25 Python
python GUI库图形界面开发之PyQt5窗口控件QWidget详细使用方法
2020/02/26 Python
Python实现树莓派摄像头持续录像并传送到主机的步骤
2020/11/30 Python
跨域修改iframe页面内容详解
2019/10/31 HTML / CSS
用Java语言将一个键盘输入的数字转化成中文输出
2013/01/25 面试题
自我鉴定范文200字
2013/10/02 职场文书
多媒体编辑专业毕业生推荐信
2013/11/05 职场文书
股权收购意向书
2014/04/01 职场文书
高中班级口号
2014/06/09 职场文书
我的中国梦口号
2014/06/16 职场文书
中专毕业生的自荐书
2014/07/01 职场文书
金融保险专业求职信
2014/09/03 职场文书
电影红河谷观后感
2015/06/11 职场文书
2016党员三严三实心得体会
2016/01/15 职场文书
浅析Django接口版本控制
2021/06/26 Python