剖析后OpLog订阅MongoDB的数据变更就没那么难了


Posted in MongoDB onFebruary 24, 2022

前言

我们开源了一个订阅分发mysql的binlog的项目,一直用的非常好,忽然有天开发说能不能支持MongoDB的数据订阅呢,MongoDB的使用度也挺广泛的。安排。经过简单的了解后发现MongoDB也有类似binlog的机制,最终花了两天时间把功能完成,并统一抽象集成到binlog开源项目中,使用和binlog同一套订阅分发模型管理MongoDB数据源。整个过程非常顺利,比整mysql的binlog要简单的多了。

oplog简介

先来聊聊MongoDB的主备机制,和mysql的binlog类似,在MongoDB中,有一个系统库“”Local”,库里有一个集合“oplog.rs”,这个集合类似于binlog文件,里面记录了MongoDB的所有操作。从节点通过读取oplog.rs里的数据做到数据同步。

解析oplog

和订阅mysql的binlog一样(模拟一个从节点mysql)。我们的订阅服务要像从节点那样读取解析oplog.rs里的数据。解析前先看下oplog.rs的Document的数据结构

剖析后OpLog订阅MongoDB的数据变更就没那么难了

上图是一个插入的数据的日志,可见oplog的doc中共有如下字段,含义分别如下:

ts:操作的时间戳(非常重要)

t:term最初在主数据库上生成操作的。(含义不明)

h:本次操作的唯一hashID

v: 版本号

op:操作类型,有六种类型,我们只需要关注其中的i(插入)、u(更新)、d(删除)即可

ns:库名和集合名称,中间使用“.”连接

o:本次操作的document内容

o2:只有op操作类型时u更新时,才会有这个字段,代表更新的条件语句

$set:o2获取后的文档里的属性,代表更新的字段

如上字段,完成一次oplog的解析,只需要ts、op、ns、o、o2、$set即可,其中ts非常重要,可以类比为binlog中的Position。同步mysql的数据时,通过记录消费binlog的位置,也就是Position,可以有效避免订阅服务停机后,消费记录丢失的问题。同步MongoDB时,通过记录ts的值,来记录消费的位置,可以到达和订阅binlog一样的效果。和mysql订阅不同的是,MongoDB的同步需要同步服务自己查询,而且oplog在MongoDB4.0之前的版本有大小限制,超过设置的容量后,老的数据就会被丢失,在4.0之后的版本已经解除了这个限制。

代码

上面已经分析了oplog的结构以及订阅步骤,下面我们直接构建查询即可,需要注意,每次获取到的ts值,需要存储记录下来,已便重新订阅时,从上次断开的记录重新开始。下面直接看代码,重点逻辑都以注释详尽

private BsonTimestamp queryTs;
    @Test
    public void OpLogTest() {
        MongoClient mongoClient = new MongoClient(new MongoClientURI("mongodb://admin:admin@127.0.0.1:3717"));
        MongoCollectioncollection = mongoClient.getDatabase("local")
                .getCollection("oplog.rs");

        //如果是首次订阅,需要使用自然排序查询,获取第最后一次操作的操作时间戳。如果是续订阅直接读取记录的值赋值给queryTs即可
        FindIterabletsCursor = collection.find().sort(new BasicDBObject("$natural", -1))
                .limit(1);
        Document tsDoc = tsCursor.first();
        queryTs = (BsonTimestamp) tsDoc.get("ts");
        while (true) try {
            //构建查询语句,查询大于当前查询时间戳queryTs的记录
            BasicDBObject query = new BasicDBObject("ts", new BasicDBObject("$gt", queryTs));
            MongoCursordocCursor = collection.find(query)
                    .cursorType(CursorType.TailableAwait) //没有数据时阻塞休眠
                    .noCursorTimeout(true) //防止服务器在不活动时间(10分钟)后使空闲的游标超时。
                    .oplogReplay(true) //结合query条件,获取增量数据,这个参数比较难懂,见:https://docs.mongodb.com/manual/reference/command/find/index.html
                    .maxAwaitTime(1, TimeUnit.SECONDS) //设置此操作在服务器上的最大等待执行时间
                    .iterator();
            while (docCursor.hasNext()) {
                Document document = docCursor.next();
                //更新查询时间戳
                queryTs = (BsonTimestamp) document.get("ts");
                //TODO 在这里接收到数据后通过订阅数据路由分发

                String op = document.getString("op");
                String database = document.getString("ns");
                Document context = (Document) document.get("o");
                Document where = null;
                if (op.equals("u")) {
                    where = (Document) document.get("o2");
                    if (context != null) {
                        context = (Document) context.get("$set");
                    }
                }
                System.err.println("操作时间戳:" + queryTs.getTime());
                System.err.println("操作类  型:" + op);
                System.err.println("数据库.集合:" + database);
                System.err.println("更新条件:" + JSON.toJSONString(where));
                System.err.println("文档内容:" + JSON.toJSONString(context));
            }
        } catch (Exception e) { e.printStackTrace(); }
    }

结语

上面代码只是一个简单的测试用例,完整的应用还需要考虑ts的记录更新,事件的抽象,数据的分发等。我们已经开源的binlog订阅分发项目目前支持数据源在线管理,订阅数据(库、表)在线管理,如果能够使用同一套管理后台管理binlog和oplog的订阅在好不过。要实现和binlog统一管理模型,配置和分发方面基本不需要改动,然后从顶层数据源方面做区分实现即可。

目前我们整合管理的功能都已经开发好了,关于oplog部分的代码还没提交到github上,后面会和大家相见。

以上就是剖析后OpLog订阅MongoDB的数据变更就没那么难了的详细内容,更多关于OpLog订阅MongoDB的数据变更的资料请关注三水点靠木其它相关文章!

MongoDB 相关文章推荐
MongoDB数据库常用的10条操作命令
Jun 18 MongoDB
SpringBoot整合MongoDB的实现步骤
Jun 23 MongoDB
mongodb数据库迁移变更的解决方案
Sep 04 MongoDB
关于CentOS 8 搭建MongoDB4.4分片集群的问题
Oct 24 MongoDB
MongoDB支持的数据类型
Apr 11 MongoDB
Mongodb 迁移数据块的流程介绍分析
Apr 18 MongoDB
MongoDB数据库之添删改查
Apr 26 MongoDB
详解MongoDB排序时内存大小限制与创建索引的注意事项
May 06 MongoDB
MongoDB使用场景总结
SpringBoot系列之MongoDB Aggregations用法详解
MongoDB连接数据库并创建数据等使用方法
springboot + mongodb 通过经纬度坐标匹配平面区域的方法
Nov 01 #MongoDB
centos8安装MongoDB的详细过程
关于CentOS 8 搭建MongoDB4.4分片集群的问题
MongoDB日志切割的三种方式总结
Sep 15 #MongoDB
You might like
PHP 开发工具
2006/12/06 PHP
PHP的autoload自动加载机制使用说明
2010/12/28 PHP
深入解析PHP的引用计数机制
2013/06/14 PHP
WampServer下安装多个版本的PHP、mysql、apache图文教程
2015/01/07 PHP
PHP实现的服务器一致性hash分布算法示例
2018/08/09 PHP
PHP中16个高危函数整理
2019/09/19 PHP
JavaScript自定义事件介绍
2013/08/29 Javascript
如何用jquery控制表格奇偶行及活动行颜色
2014/04/20 Javascript
jquery取子节点及当前节点属性值的方法
2014/09/09 Javascript
jQuery中cookie插件用法实例分析
2015/12/04 Javascript
基于Jquery和html5实现炫酷的3D焦点图动画
2016/03/02 Javascript
浅谈JS中的反柯里化( uncurrying)
2017/08/17 Javascript
微信小程序websocket实现聊天功能
2020/03/30 Javascript
微信小程序五子棋游戏的棋盘,重置,对弈实现方法【附demo源码下载】
2019/02/20 Javascript
vue给对象动态添加属性和值的实例
2019/09/09 Javascript
Node.js API详解之 querystring用法实例分析
2020/04/29 Javascript
vue中选中多个选项并且改变选中的样式的实例代码
2020/09/16 Javascript
vue print.js打印支持Echarts图表操作
2020/11/13 Javascript
[52:32]完美世界DOTA2联赛PWL S2 Magma vs LBZS 第三场 11.18
2020/11/18 DOTA
python通过ftplib登录到ftp服务器的方法
2015/05/08 Python
11个Python Pandas小技巧让你的工作更高效(附代码实例)
2019/04/30 Python
python对Excel按条件进行内容补充(推荐)
2019/11/24 Python
Pycharm使用远程linux服务器conda/python环境在本地运行的方法(图解))
2019/12/09 Python
Django单元测试中Fixtures用法详解
2020/02/25 Python
Python实现AI换脸功能
2020/04/10 Python
python3读取autocad图形文件.py实例
2020/06/05 Python
解决运行django程序出错问题 'str'object has no attribute'_meta'
2020/07/15 Python
python调用百度API实现人脸识别
2020/11/17 Python
我们在web应用开发过程中经常遇到输出某种编码的字符,如iso8859-1等,如何输出一个某种编码的字符串?
2014/03/30 面试题
基于Python 函数和方法的区别说明
2021/03/24 Python
学前教育毕业生自荐信
2013/10/29 职场文书
阳光体育活动方案
2014/02/16 职场文书
安全宣传标语
2014/06/10 职场文书
群众路线自查自纠工作情况报告
2014/10/28 职场文书
会计专业自荐信范文
2019/05/22 职场文书
vue实现登陆页面开发实践
2022/05/30 Vue.js