MongoDB修改oplog大小的四种方法


Posted in MongoDB onApril 11, 2022

修改oplog有四种方法:

方法一

步骤如下:

  • 停掉所有secondary节点
  • 主节点删除local目录下文件,副本节点删除数据目录下所有文件
  • 修改所有节点的配置文件,如:oplogSize=1000
  • 重启所有节点,包括主节点和副本节点
  • 重新配置replca set,副本节点会重新同步数据(initial sync)

优点:操作简单。
缺点:需要停服务,若数据量大,数据同步代价高。

方法二

步骤如下:

  • remove其中一个secondary节点,并关闭mongod服务,删除数据目录下所有文件
  • 修改此节点的参数文件,如:oplogSize=1000,并启动mongod服务
  • 在primary节点执行rs.add()将此节点加入到replica set
  • 循环1-3步骤,将所有副本节点全部改完
  • primary节点执行rs.stepDown()将主节点降级为副本节点
  • 从新的主节点remove掉此节点,并进行步骤1-3
    这样逐个修改每个节点,完成oplog修改。

优点:解决了方法一中的停机问题。
缺点:每个节点都要逐个重新同步,时间代价更高。

方法三

The oplog exists internally as a capped collection, so you cannot modify its size in the course of normal operations.另:改变oplog大小,需要在每个节点上执行维护模式。(官方推荐)

1.关闭mongod

关闭mongod实例,如果是primary节点,执行rs.stepDown() 降级

handong1:PRIMARY> rs.stepDown()
{
	"ok" : 1,
	"$clusterTime" : {
		"clusterTime" : Timestamp(1619693040, 1),
		"signature" : {
			"hash" : BinData(0,"AAAAAAAAAAAAAAAAAAAAAAAAAAA="),
			"keyId" : NumberLong(0)
		}
	},
	"operationTime" : Timestamp(1619693040, 1)
}
handong1:SECONDARY> 
handong1:SECONDARY> 
handong1:SECONDARY> 
handong1:SECONDARY> use admin
switched to db admin
handong1:SECONDARY> db.shutdownServer()
2021-04-29T18:44:33.947+0800 I  NETWORK  [js] DBClientConnection failed to receive message from 127.0.0.1:27017 - HostUnreachable: Connection closed by peer
server should be down...
2021-04-29T18:44:33.950+0800 I  NETWORK  [js] trying reconnect to 127.0.0.1:27017 failed
2021-04-29T18:44:33.967+0800 I  NETWORK  [js] reconnect 127.0.0.1:27017 failed failed

2.修改配置文件

修改配置文件,修改端口,注释掉replSet和认证相关的设置

port=27018
fork=true
journal = true
maxConns=500
logappend=true
directoryperdb=true
dbpath=/mongodb/data
logpath=/mongodb/logs/mongodb.log

3.启动mongod实例,并备份oplog

mongod -f /mongodb/conf/mongodb.conf 
about to fork child process, waiting until server is ready for connections.
forked process: 31553
child process started successfully, parent exiting
mongodump -d local -c oplog.rs --port 27018 -h 172.16.254.134 -o /mongodb/backup
2021-04-29T18:55:18.167+0800	writing local.oplog.rs to /mongodb/backup/local/oplog.rs.bson
2021-04-29T18:55:18.170+0800	done dumping local.oplog.rs (798 documents)

4.重建oplog

保存oplog最新时间点

> use local
switched to db local
> db.temp.save( db.oplog.rs.find( { }, { ts: 1, h: 1 } ).sort( {$natural : -1} ).limit(1).next() )
WriteResult({ "nInserted" : 1 })
> db.temp.find()
{ "_id" : ObjectId("608a914089abaa981f14e888"), "ts" : Timestamp(1619693066, 1), "h" : NumberLong(0) }

删除旧的oplog

db.oplog.rs.drop()

重建新的oplog,大小为2GB

> db.runCommand( { create: "oplog.rs", capped: true, size: (2 * 1024 * 1024 * 1024) } )

5.插入前面保存的oplog时间点记录

> db.oplog.rs.save( db.temp.findOne() )
> db.oplog.rs.find()

6.关闭mongod实例

> use admin
switched to db admin
> db.shutdownServer()
2021-04-29T19:06:53.745+0800 I  NETWORK  [js] DBClientConnection failed to receive message from 127.0.0.1:27018 - HostUnreachable: Connection closed by peer
server should be down...
2021-04-29T19:06:53.749+0800 I  NETWORK  [js] trying reconnect to 127.0.0.1:27018 failed
2021-04-29T19:06:53.749+0800 I  NETWORK  [js] reconnect 127.0.0.1:27018 failed failed

最后恢复mongodb.conf到初始状态,启动

方法四

如果你的MongoDB版本为4.0以后的版本,可以直接使用replSetResizeOplog修改。

1.查看oplog大小

handong1:SECONDARY> db.getReplicationInfo()
{
	"logSizeMB" : 1000,
	"usedMB" : 0.17,
	"timeDiff" : 6736,
	"timeDiffHours" : 1.87,
	"tFirst" : "Thu Apr 29 2021 17:19:14 GMT+0800 (CST)",
	"tLast" : "Thu Apr 29 2021 19:11:30 GMT+0800 (CST)",
	"now" : "Thu Apr 29 2021 19:11:42 GMT+0800 (CST)"
}

2.修改oplog大小

handong1:SECONDARY> db.adminCommand({replSetResizeOplog:1,size:2000})
{
	"ok" : 1,
	"$clusterTime" : {
		"clusterTime" : Timestamp(1619694744, 14),
		"signature" : {
			"hash" : BinData(0,"AAAAAAAAAAAAAAAAAAAAAAAAAAA="),
			"keyId" : NumberLong(0)
		}
	},
	"operationTime" : Timestamp(1619694744, 14)
}

3.验证oplog大小

handong1:SECONDARY> db.getReplicationInfo()
{
	"logSizeMB" : 2000,
	"usedMB" : 0.18,
	"timeDiff" : 6852,
	"timeDiffHours" : 1.9,
	"tFirst" : "Thu Apr 29 2021 17:19:14 GMT+0800 (CST)",
	"tLast" : "Thu Apr 29 2021 19:13:26 GMT+0800 (CST)",
	"now" : "Thu Apr 29 2021 19:13:28 GMT+0800 (CST)"
}

4.整理碎片,回收空间(可选)

handong1:SECONDARY> use local
switched to db local
handong1:SECONDARY> db.runCommand({"compact" : "oplog.rs"})
{
	"ok" : 1,
	"$clusterTime" : {
		"clusterTime" : Timestamp(1619694840, 1),
		"signature" : {
			"hash" : BinData(0,"AAAAAAAAAAAAAAAAAAAAAAAAAAA="),
			"keyId" : NumberLong(0)
		}
	},
	"operationTime" : Timestamp(1619694840, 1)
}

到此这篇关于分享MongoDB修改oplog大小的4种方法的文章就介绍到这了,更多相关MongoDB修改oplog大小内容请搜索三水点靠木以前的文章或继续浏览下面的相关文章希望大家以后多多支持三水点靠木!

MongoDB 相关文章推荐
MongoDB使用profile分析慢查询的步骤
Apr 30 MongoDB
MongoDB balancer的使用详解
Apr 30 MongoDB
MongoDB orm框架的注意事项及简单使用
Jun 20 MongoDB
SpringBoot整合MongoDB的实现步骤
Jun 23 MongoDB
浅析MongoDB之安全认证
Jun 26 MongoDB
Mongo服务重启异常问题的处理方法
Jul 01 MongoDB
常用的MongoDB查询语句的示例代码
Jul 25 MongoDB
mongodb的安装和开机自启动详细讲解
Aug 02 MongoDB
mongoDB数据库索引快速入门指南
Mar 23 MongoDB
MongoDB误操作后使用oplog恢复数据
Apr 11 MongoDB
MongoDB支持的索引类型
Apr 11 #MongoDB
MongoDB支持的数据类型
Apr 11 #MongoDB
MongoDB误操作后使用oplog恢复数据
Apr 11 #MongoDB
mongoDB数据库索引快速入门指南
MongoDB数据库部署环境准备及使用介绍
一次线上mongo慢查询问题排查处理记录
Mar 18 #MongoDB
SpringBoot 整合mongoDB并自定义连接池的示例代码
Feb 28 #MongoDB
You might like
关于PHP的相似度计算函数:levenshtein的使用介绍
2013/04/15 PHP
PHP+jQuery实现自动补全功能源码
2013/05/15 PHP
thinkPHP框架中执行原生SQL语句的方法
2017/10/25 PHP
PHP实现正则表达式分组捕获操作示例
2018/02/03 PHP
js操作Xml(向服务器发送Xml,处理服务器返回的Xml)(IE下有效)
2009/01/30 Javascript
IE8下关于querySelectorAll()的问题
2010/05/13 Javascript
JavaScript类库D
2010/10/24 Javascript
jQuery实现当按下回车键时绑定点击事件
2014/01/28 Javascript
jquery浏览器滚动加载技术实现方案
2014/06/03 Javascript
jQuery中nextAll()方法用法实例
2015/01/07 Javascript
jQuery插件zoom实现图片全屏放大弹出层特效
2015/04/15 Javascript
jQuery中cookie插件用法实例分析
2015/12/04 Javascript
nodejs 中模拟实现 emmiter 自定义事件
2016/02/22 NodeJs
JS 学习总结之正则表达式的懒惰性和贪婪性
2017/07/03 Javascript
用Cordova打包Vue项目的方法步骤
2019/02/02 Javascript
详解如何给React-Router添加路由页面切换时的过渡动画
2019/04/25 Javascript
js 判断当前时间是否处于某个一个时间段内
2019/09/19 Javascript
vue 组件间的通信之子组件向父组件传值的方式
2020/07/29 Javascript
[00:36]DOTA2上海特级锦标赛 Alliance战队宣传片
2016/03/04 DOTA
使用Python脚本实现批量网站存活检测遇到问题及解决方法
2016/10/11 Python
TensorFlow实现RNN循环神经网络
2018/02/28 Python
使用Python抓取豆瓣影评数据的方法
2018/10/17 Python
查看Python依赖包及其版本号信息的方法
2019/08/13 Python
关于PyTorch 自动求导机制详解
2019/08/18 Python
pytorch torch.nn.AdaptiveAvgPool2d()自适应平均池化函数详解
2020/01/03 Python
python调用百度API实现人脸识别
2020/11/17 Python
详解Python中的Lock和Rlock
2021/01/26 Python
用CSS3和table标签实现一个圆形轨迹的动画的示例代码
2019/01/17 HTML / CSS
MANGO官方网站:西班牙芒果服装品牌
2017/01/15 全球购物
大学生职业生涯规划范文
2014/01/08 职场文书
院党委组织查摆问题对照检查材料思想汇报2014
2014/10/08 职场文书
单位租房协议书范本
2014/12/04 职场文书
2014年心理健康教育工作总结
2014/12/06 职场文书
运动会通讯稿300字
2015/07/20 职场文书
python实现批量移动文件
2021/04/05 Python
Redis数据同步之redis shake的实现方法
2022/04/21 Redis