Redis集群新增、删除节点以及动态增加内存的方法


Posted in Redis onSeptember 04, 2021

一、新增服务节点到集群中

1、创建配置文件

在主机127.0.0.5上创建新端口的配置文件,如之前有端口直接复制之前的配置文件即可。复制完然后修改下配置文件里的端口、内存大小、pid的路径等。

cp redis7001.conf redis7002.conf

Redis集群新增、删除节点以及动态增加内存的方法

2、启动新的端口

cd ../bin/
./redis-server ../etc/redis7002.conf

 Redis集群新增、删除节点以及动态增加内存的方法

该操作在127.0.0.6上同样再操作一次。

3、将新增的两个端口增加到现有集群中

./redis-cli --cluster add-node 127.0.0.3:7002 127.0.0.1:7002
./redis-cli --cluster add-node 127.0.0.4:7002 127.0.0.1:700

21430f4be50444f20854193613fe1f4346fae577 127.0.0.3:7002@17002 slave 2ef3474dcb875522cd1b03465506065de2ada8e7 0 1630463304000 18 connected
b7e55a3d3eda2777c077c606c090bcfaf6b674fd 127.0.0.1:7002@17002 master - 0 1630463306333 17 connected 0-99 200-399 600-699 800-899 5461-10922
2ef3474dcb875522cd1b03465506065de2ada8e7 127.0.0.2:7002@17002 master - 0 1630463305000 18 connected 100-199 400-599 700-799 900-999 10923-16383
4d0c6a957452191e755c1bb0856307c9da838f79 127.0.0.1:7002@17002 slave b7e55a3d3eda2777c077c606c090bcfaf6b674fd 0 1630463307336 10 connected
1f42f45cd136239d95fc15bda9938821c33138cc 127.0.0.5:7002@17002 master  connected 0
3bc21c09f3318342600205b1b5e6ea129e3608f3 127.0.0.6:6002@17002 myself,master - connected 0

使用命令 cluster nodes 查看集群状态,发现两个节点默认均为master。这是还没有对节点进行分配的原因。

4、设置从节点

我们设置 127.0.0.6:7002 为从节点,登录该节点

redis-cli -c -h 192.168.8.196 -p 5008

指定5008从节点的主节点ID,这里我们填写127.0.0.5:6002的服务节点ID,节点ID为上面查出来第一列的值

cluster replicate 1f42f45cd136239d95fc15bda9938821c33138cc

查看当前集群节点信息 cluster nodes

21430f4be50444f20854193613fe1f4346fae577 127.0.0.3:7002@17002 slave 2ef3474dcb875522cd1b03465506065de2ada8e7 0 1630463304000 18 connected
b7e55a3d3eda2777c077c606c090bcfaf6b674fd 127.0.0.1:7002@17002 master - 0 1630463306333 17 connected 0-99 200-399 600-699 800-899 5461-10922
2ef3474dcb875522cd1b03465506065de2ada8e7 127.0.0.2:7002@17002 master - 0 1630463305000 18 connected 100-199 400-599 700-799 900-999 10923-16383
4d0c6a957452191e755c1bb0856307c9da838f79 127.0.0.1:7002@17002 slave b7e55a3d3eda2777c077c606c090bcfaf6b674fd 0 1630463307336 10 connected
1f42f45cd136239d95fc15bda9938821c33138cc 127.0.0.5:7002@17002 master 0 connected 0
3bc21c09f3318342600205b1b5e6ea129e3608f3 127.0.0.6:6002@17002 myself,slave 1f42f45cd136239d95fc15bda9938821c33138cc  0 1630463307336 0 connected

5、设置主节点master

因为新增节点时并未分配卡槽,需要我们手动对集群进行重新分片迁移数据,需要重新分片命令 reshard

./redis-cli --cluster reshard 127.0.0.5:7002

执行之后会出现下面几个选项

How many slots do you want to move (from 1 to 16384)? 4096

#它提示我们需要迁移多少slot到7007上,我们平分16384个哈希槽给4个节点:16384/4 = 4096,我们需要移动4096个槽点到7007上。
#ps:这里分配可以根据你新增的节点内存和已存在的节点进行考虑,新增节点内存大可以相对分配的多点

What is the receiving node ID? 63aa476d990dfa9f5f40eeeaa0315e7f9948554d
#这里添加接收节点的ID,我们填写127.0.0.5:7002服务节点的ID
1.Please enter all the source node IDs.
2.Type ‘all' to use all the nodes as source nodes for the hash slots.
3.Type ‘done' once you entered all the source nodes IDs.
4.Source node #1: 
#redis-trib 会向你询问重新分片的源节点(source node),即,要从特点的哪个节点中取出 4096 个哈希槽,还是从全部节点提取4096个哈希槽, 并将这些槽移动到7007节点上面。
#如果我们不打算从特定的节点上取出指定数量的哈希槽,那么可以向redis-trib输入 all,这样的话, 集群中的所有主节点都会成为源节点,redis-trib从各个源节点中各取出一部分哈希槽,凑够4096个,然后移动到7007节点上:
1.Source node #1:all  
然后开始从别的主节点迁移哈希槽,并且确认。
....省略分配内容
1.Do you want to proceed with the proposed reshard plan (yes/no)? yes 
#注意这里一定要输入yes,输入Y或者其他会终止操作。 
#确认之后,redis-trib就开始执行分片操作,将哈希槽一个一个从源主节点移动到127.0.0.5:7002目标主节点。

重新分片结束后我们可以check以下节点的分配情况。

./redis-trib.rb check 127.0.0.1:7001
...省略节点内容
#可以看到7007节点分片的哈希槽片不是连续的,间隔的移动。

至此主节点就添加完毕了

二、删除节点

1、删除从节点

先登录 127.0.0.5:7002 节点,使用 cluster nodes 查看集群节点信息。

21430f4be50444f20854193613fe1f4346fae577 127.0.0.3:7002@17002 slave 2ef3474dcb875522cd1b03465506065de2ada8e7 0 1630463304000 18 connected
b7e55a3d3eda2777c077c606c090bcfaf6b674fd 127.0.0.1:7002@17002 master - 0 1630463306333 17 connected 0-99 200-399 600-699 800-899 5461-10922
2ef3474dcb875522cd1b03465506065de2ada8e7 127.0.0.2:7002@17002 master - 0 1630463305000 18 connected 100-199 400-599 700-799 900-999 10923-16383
4d0c6a957452191e755c1bb0856307c9da838f79 127.0.0.1:7002@17002 slave b7e55a3d3eda2777c077c606c090bcfaf6b674fd 0 1630463307336 10 connected
1f42f45cd136239d95fc15bda9938821c33138cc 127.0.0.5:7002@17002 myself,master - 0 1630463305000 18 connected 100-199 400-599 700-799 900-999 10923-16383
3bc21c09f3318342600205b1b5e6ea129e3608f3 127.0.0.6:6002@17002 slave 1f42f45cd136239d95fc15bda9938821c33138cc  0 1630463307336 0 connected

将127.0.0.6:7002的节点ID记录下来(3bc21c09f3318342600205b1b5e6ea129e3608f3)

执行下面命令

./redis-cli --cluster del-node 127.0.0.6 3bc21c09f3318342600205b1b5e6ea129e3608f3

Redis集群新增、删除节点以及动态增加内存的方法

出现以上信息代表删除成功。

2、删除主节点

因为主节点分配了 slot槽, 所以这里我们必须先把 7002的slot槽放到其他的可用节点中去,然后再进行移除节点操作才行,不然会出现数据丢失问题。

(1)先把数据迁移到其他主节点中。

./redis-cli --cluster reshard 127.0.0.5:7002

Redis集群新增、删除节点以及动态增加内存的方法

可以看到127.0.0.5:7002中有4461个slot槽,如果想要平均分配,就需要根据现有多少master主节点进行平均,然后重复执行以上命令。我下面操作是直接将所有slot槽分配到一个节点上。

1、How many slots do you want to move (from 1 to 16384)? 4461
2、What is the receiving node ID? b7e55a3d3eda2777c077c606c090bcfaf6b674fd
#这一步是问要将这些slot槽分配到哪个节点上,我分配到了127.0.0.1:7002上,所以填写它的ID
3、Please enter all the source node IDs.
  3.1、Type 'all' to use all the nodes as source nodes for the hash slots.
  3.2、Type 'done' once you entered all the source nodes IDs.
3.3、Source node #1:
#这里需要数据源,其实就是 127.0.0.5:7002 节点的ID,因为你是把 7002 节点的数据放到其它地方去, 输入 7002 的ID
#回车之后会出现再次输入id
#其实是让你还可以选择源节点,但是我这里只要把 7002 节点分到其它地方就行,如果没有再把其它主节点分摊的需要,此处输入 done即可,否则输入其它节点的ID,最后输入 done
4.Do you want to proceed with the proposed reshard plan (yes/no)? yes 
#注意这里一定要输入yes,输入Y或者其他会终止操作。 
#这里就分配完slot槽了

执行完成之后,输入 cluster nodes 查看节点信息
可以看到 7002 已经没有槽分配了
接下来就可以按照删除从节点的方法删除主节点了。

./redis-cli --cluster del-node 127.0.0.6 主节点ID

再次查看集群信息,发现主节点也删掉了。

三、动态扩容内存

在业务运行时,redis内存不够了怎么办,无非两种办法,要么删除无用的key,要么就是增加节点内存,当删除key之后还是无法满足需求,就只能增加内存。redis提供了不停服务增加内存的命令 CONFIG SET parameter value
1、CONFIG SET 命令可以动态地调整 Redis 服务器的配置(configuration)而无须重启。
2、你可以使用它修改配置参数,或者改变 Redis 的持久化(Persistence)方式。
3、CONFIG SET 可以修改的配置参数可以使用命令 CONFIG GET * 来列出,所有被 CONFIG SET 修改的配置参数都会立即生效。

1、动态将7002端口内存从5G提升至10G

1、先获取当前最大内存

redis 127.0.0.1:7002> config get maxmemory
1) "maxmemory"
2) "5000000000"

2、设置新的最大内存

redis 127.0.0.1:6379> config set maxmemory 10G
OK
#其实set 10G是不规范的,最好的是换算下填写10737418240

3、查看修改后的值

redis 127.0.0.1:6379> CONFIG GET maxmemory
1) "maxmemory"
2) "10000000000"

附:可以动态设置的值

127.0.0.1:6379> CONFIG GET *
 1) "dbfilename"
  2) "dump.rdb"
  3) "requirepass"
  4) "123456"
  5) "masterauth"
  6) ""
  7) "unixsocket"
  8) ""
  9) "logfile"
 10) "/diskc/redis-2.8.19/log/6379_slave.log"
 11) "pidfile"
 12) "/var/run/redis.pid"
 13) "maxmemory"
 14) "10000000000"
 15) "maxmemory-samples"
 16) "3"
 17) "timeout"
 18) "0"
 19) "tcp-keepalive"
 20) "0"
 21) "auto-aof-rewrite-percentage"
 22) "100"
 23) "auto-aof-rewrite-min-size"
 24) "67108864"
 25) "hash-max-ziplist-entries"
 26) "512"
 27) "hash-max-ziplist-value"
 28) "64"
 29) "list-max-ziplist-entries"
 30) "512"
 31) "list-max-ziplist-value"
 32) "64"
 33) "set-max-intset-entries"
 34) "512"
 35) "zset-max-ziplist-entries"
 36) "128"
 37) "zset-max-ziplist-value"
 38) "64"
 39) "hll-sparse-max-bytes"
 40) "3000"
 41) "lua-time-limit"
 42) "5000"
 43) "slowlog-log-slower-than"
 44) "100000"
 45) "latency-monitor-threshold"
 46) "0"
 47) "slowlog-max-len"
 48) "128"
 49) "port"
 50) "6379"
 51) "tcp-backlog"
 52) "511"
 53) "databases"
 54) "16"
 55) "repl-ping-slave-period"
 56) "10"
 57) "repl-timeout"
 58) "60"
 59) "repl-backlog-size"
 60) "1048576"
 61) "repl-backlog-ttl"
 62) "3600"
 63) "maxclients"
 64) "15000"
 65) "watchdog-period"
 66) "200"
 67) "slave-priority"
 68) "100"
 69) "min-slaves-to-write"
 70) "0"
 71) "min-slaves-max-lag"
 72) "10"
 73) "hz"
 74) "10"
 75) "repl-diskless-sync-delay"
 76) "5"
 77) "no-appendfsync-on-rewrite"
 78) "no"
 79) "slave-serve-stale-data"
 80) "yes"
 81) "slave-read-only"
 82) "yes"
 83) "stop-writes-on-bgsave-error"
 84) "yes"
 85) "daemonize"
 86) "yes"
 87) "rdbcompression"
 88) "yes"
 89) "rdbchecksum"
 90) "yes"
 91) "activerehashing"
 92) "yes"
 93) "repl-disable-tcp-nodelay"
 94) "no"
 95) "repl-diskless-sync"
 96) "no"
 97) "aof-rewrite-incremental-fsync"
 98) "yes"
 99) "aof-load-truncated"
100) "yes"
101) "appendonly"
102) "no"
103) "dir"
104) "/diskc/redis-2.8.19"
105) "maxmemory-policy"
106) "volatile-lru"
107) "appendfsync"
108) "everysec"
109) "save"
110) "900 1 300 10 60 10000"
111) "loglevel"
112) "notice"
113) "client-output-buffer-limit"
114) "normal 0 0 0 slave 268435456 67108864 60 pubsub 33554432 8388608 60"
115) "unixsocketperm"
116) "0"
117) "slaveof"
118) ""
119) "notify-keyspace-events"
120) ""
121) "bind"
122) ""

 到此这篇关于Redis集群新增、删除节点以及动态增加内存的方法的文章就介绍到这了,更多相关Redis集群新增删除节点及动态增加内存内容请搜索三水点靠木以前的文章或继续浏览下面的相关文章希望大家以后多多支持三水点靠木!

Redis 相关文章推荐
Redis数据结构之链表与字典的使用
May 11 Redis
深入浅析Redis 集群伸缩原理
May 15 Redis
Windows下redis下载、redis安装及使用教程
Jun 02 Redis
解析Redis Cluster原理
Jun 21 Redis
聊一聊Redis与MySQL双写一致性如何保证
Jun 26 Redis
基于Redis的List实现特价商品列表功能
Aug 30 Redis
使用redis生成唯一编号及原理示例详解
Sep 15 Redis
sentinel支持的redis高可用集群配置详解
Apr 01 Redis
Redis如何实现验证码发送 以及限制每日发送次数
Apr 18 Redis
解决 redis 无法远程连接
May 15 Redis
Redis特殊数据类型Geospatial地理空间
Jun 01 Redis
Redis实现分布式锁的五种方法详解
Jun 14 Redis
Redis字典实现、Hash键冲突及渐进式rehash详解
Sep 04 #Redis
基于Redis的List实现特价商品列表功能
Aug 30 #Redis
Redis 常见使用场景
Aug 30 #Redis
Redis入门教程详解
Redis如何实现分布式锁
Aug 23 #Redis
Redisson实现Redis分布式锁的几种方式
Redis分布式锁Redlock的实现
Aug 07 #Redis
You might like
JS 无法通过W3C验证的处理方法
2010/03/09 Javascript
jQuery模拟超链接点击效果代码
2013/04/21 Javascript
JS实现清除指定cookies的方法
2014/09/20 Javascript
浅谈JSON和JSONP区别及jQuery的ajax jsonp的使用
2014/11/23 Javascript
JavaScript获取元素尺寸和大小操作总结
2015/02/27 Javascript
基于jQuery.Hz2Py.js插件实现的汉字转拼音特效
2015/05/07 Javascript
jquery简单实现带渐显效果的选项卡菜单代码
2015/09/01 Javascript
jquery 表单验证之通过 class验证表单不为空
2015/11/02 Javascript
JS面试题---关于算法台阶的问题
2016/07/26 Javascript
从零开始最小实现react服务器渲染详解
2018/01/26 Javascript
vue.js数据绑定操作详解
2018/04/23 Javascript
vue-router history模式下的微信分享小结
2018/07/05 Javascript
详解从vue-loader源码分析CSS Scoped的实现
2019/09/23 Javascript
微信小程序可滑动周日历组件使用详解
2019/10/21 Javascript
微信小程序swiper使用网络图片不显示问题解决
2019/12/13 Javascript
js前端传json后台接收‘‘被转为quot的问题解决
2020/11/12 Javascript
举例讲解Python中的身份运算符的使用方法
2015/10/13 Python
python解决汉字编码问题:Unicode Decode Error
2017/01/19 Python
Python中常用信号signal类型实例
2018/01/25 Python
python flask实现分页的示例代码
2018/08/02 Python
Python装饰器模式定义与用法分析
2018/08/06 Python
一篇文章弄懂Python中所有数组数据类型
2019/06/23 Python
django 自定义过滤器(filter)处理较为复杂的变量方法
2019/08/12 Python
pytorch 自定义卷积核进行卷积操作方式
2019/12/30 Python
Python 调用有道翻译接口实现翻译
2020/03/02 Python
俄罗斯设计师家具购物网站:The Furnish
2019/12/01 全球购物
英国发展最快的在线超市之一:Click Marketplace
2021/02/15 全球购物
什么是虚拟内存?虚拟内存有什么优势?
2012/02/19 面试题
优秀学生获奖感言
2014/02/15 职场文书
房屋租赁意向书
2014/04/01 职场文书
建议书的格式及范文
2015/09/14 职场文书
教师素质教育心得体会
2016/01/19 职场文书
JavaScript实现栈结构详细过程
2021/12/06 Javascript
不负正版帝国之名 《重返帝国》引领SLG手游制作新的标杆
2022/04/07 其他游戏
Sql Server 行数据的某列值想作为字段列显示的方法
2022/04/20 SQL Server
SQL中的连接查询详解
2022/06/21 SQL Server