Mongodb 迁移数据块的流程介绍分析


Posted in MongoDB onApril 18, 2022

1. 基本概念

1.1 Chunk(数据块)

表示特定服务器上面,连续范围的分片键值所包含的一组数据,是一个逻辑概念。

例如,某数据块记录如下:

{
    "_id" : "chunk-a",  // 数据块Id
    "ns" : "user.address",  // 该数据块对应的数据库名和表名
    "min" : {               // 该数据块对应的分片键值的起始值(包含),是“Shi Jiazhuang”
        "city" : "Shi Jiazhuang"
    },
    "max" : {               // 该数据块对应的分片键值的结束值(不包含),是“Nanjjing”
        "city" : "Nan Jing"
    },
    "shard" : "repa"        // 该数据块存储在repa分片服务器               
}
// 即该数据块记录表示,数据库user中的表address中的“city”字段中,其值从“Shi Jiazhuang”(包含)到“Nan Jing”(不包含)这段连续区间的数据,都存储在名为repa的分片服务器。

1.2 Chunk Size(数据块大小)

数据块所对应的数据,如果超过64M(默认值),则会被系统自动切分为两个数据,即数据块会从1块切分为2块,图示如下:

Mongodb 迁移数据块的流程介绍分析

1.3 Migration(数据块迁移)

mongodb有一个后台的平衡器进程,它会监控各个分片服务器上面的数据块的数量,如果发现不同的分片服务器上面数据块的数量差异,超过阈值,则会启动数据块迁移任务,

直至不同的分片服务器之间的数据块的数量差异落在阈值之内,图示如下:

Mongodb 迁移数据块的流程介绍分析

1.4 Migration Thresholds(迁移阈值)

数据块的迁移阈值,是和该表的数据块总数相关的,具体如下:

数据块总数量 阈值
小于20 2
20-79 4
大于等于80 8

2. 迁移流程

数据块的迁移对于用户和应用层来说是透明的,当然可能会有些性能的损失,整个迁移流程有7个步骤,图示如下

Mongodb 迁移数据块的流程介绍分析

各个步骤的内容如下:

1. 平衡器发送迁移命令给源节点。

2. 源节点启动了一个内部的数据块迁移命令给目标节点,同时在数据块迁移期间,对于该数据块的请求依然路由到源节点。

3. 目标节点首先创建该数据块上缺失的索引(如果需要的话)。

4. 目标节点到源节点拉取数据。

5. 目标节点需要到源节点再请求在步骤4执行期间的增量变更数据(新增、更新和删掉),如果有则跳转到步骤4,直到没有增量数据。

6. 数据全部迁移成功后,源节点会向配置服务器(config server)发送请求,更新该数据块的元数据中的"分片服务器(shard)"的值为目标节点。

7. 源节点删除本地的该数据块对应的数据。

3. 最佳实践

以上分享了数据块和数据块迁移的一些基本概念和流程,下面是一些最佳实践。

3.1 关于数据块大小的选择

数据块的大小,默认是64M,通常情况下是不需要修改它的,但是有时候该值的大小根据不同的业务场景会带来不同的影响,需要综合多方面的因素来设置该值。

数据块大小太小:通常情况下,较小的数据块大小,会带来更频繁的数据块迁移,数据在集群间的分布会更加均衡,但是如果分片键设置的不够合理,则会产生很多无法切分(split)的大数据块,太大的数据块无法在分片之间迁移,从而导致数据分布的不均衡性,此时需要把数据块大小调大。

数据块大小太大:较大的数据块,意味着更少的数据块迁移,数据在集群间的分布容易出现不平衡,同时也容易产生读写热点(可手动切分),此时需要把数据块大小调小。

3.2 关于数据块迁移对集群性能的影响

数据块迁移除了占用目标节点和源节点的带宽和磁盘读写资源外,在迁移流程中的步骤6会短暂阻塞对该数据块的访问,影响应用的访问,因此建议设置平衡器的活跃时间窗口,设置为业务低估时进行,步骤如下:

1. 连接到mongos。

2. 切换到config数据库

use config

3. 启动平衡器

如果平衡器是关闭状态,则设置活跃时间窗口也是不会做数据迁移的,命令如下:

sh.startBalancer()

4. 修改活跃时间窗口

db.settings.updateOne(
   { _id: "balancer" },
   { $set: { activeWindow : { start : "01:00", stop : "06:00" } } },  // start和stop的格式为"HH:MM",其中HH的取值范围是0到23,MM的取值范围是00到59
   { upsert: true }
)

https://github.com/tomliugen

到此这篇关于mongodb 数据块的迁移流程介绍的文章就介绍到这了!

MongoDB 相关文章推荐
MongoDB orm框架的注意事项及简单使用
Jun 20 MongoDB
常用的MongoDB查询语句的示例代码
Jul 25 MongoDB
SpringBoot系列之MongoDB Aggregations用法详解
Feb 12 MongoDB
一次线上mongo慢查询问题排查处理记录
Mar 18 MongoDB
mongoDB数据库索引快速入门指南
Mar 23 MongoDB
MongoDB误操作后使用oplog恢复数据
Apr 11 MongoDB
SpringBoot集成MongoDB实现文件上传的步骤
Apr 18 MongoDB
MongoDB数据库之添删改查
Apr 26 MongoDB
详解MongoDB排序时内存大小限制与创建索引的注意事项
May 06 MongoDB
NoSQL优缺点与MongoDB数据库简介
Jun 05 MongoDB
SpringBoot集成MongoDB实现文件上传的步骤
Apr 18 #MongoDB
Centos系统通过Docker安装并搭建MongoDB数据库
MongoDB修改oplog大小的四种方法
Apr 11 #MongoDB
MongoDB支持的索引类型
Apr 11 #MongoDB
MongoDB支持的数据类型
Apr 11 #MongoDB
MongoDB误操作后使用oplog恢复数据
Apr 11 #MongoDB
mongoDB数据库索引快速入门指南
You might like
php 保留字列表
2012/10/04 PHP
PHP验证码无法显示的原因及解决办法
2017/08/11 PHP
php对象工厂类完整示例
2018/08/09 PHP
PHP实现八皇后算法
2019/05/06 PHP
jQuery 性能优化指南(3)
2009/05/21 Javascript
超级酷和最实用的jQuery实例收集(20个)
2010/04/21 Javascript
javascript题目,重写函数让其无限相加
2012/02/15 Javascript
jQuery控制iFrame(实例代码)
2013/11/19 Javascript
javascript手工制作悬浮菜单
2015/02/12 Javascript
ECMAScript6中Map/WeakMap详解
2015/06/12 Javascript
js实现带有介绍的Select列表菜单实例
2015/08/18 Javascript
Javascript复制实例详解
2016/01/28 Javascript
BootStrap智能表单实战系列(七)验证的支持
2016/06/13 Javascript
jQuery编写网页版2048小游戏
2017/01/06 Javascript
微信小程序 Nginx环境配置详细介绍
2017/02/14 Javascript
JS作用域链详解
2017/06/26 Javascript
js中自定义react数据验证组件实例详解
2018/10/19 Javascript
使用vue-cli脚手架工具搭建vue-webpack项目
2019/01/14 Javascript
vue基于两个计算属性实现选中和全选功能示例
2019/02/08 Javascript
vue cli 3.x 项目部署到 github pages的方法
2019/04/17 Javascript
微信小程序地图导航功能实现完整源代码附效果图(推荐)
2019/04/28 Javascript
Electron实现应用打包、自动升级过程解析
2020/07/07 Javascript
vue element-ul实现展开和收起功能的实例代码
2020/11/25 Vue.js
[57:55]完美世界DOTA2联赛PWL S3 Magma vs Phoenix 第二场 12.12
2020/12/16 DOTA
在Linux中通过Python脚本访问mdb数据库的方法
2015/05/06 Python
对Python字符串中的换行符和制表符介绍
2018/05/03 Python
Flask和Django框架中自定义模型类的表名、父类相关问题分析
2018/07/19 Python
基于pandas将类别属性转化为数值属性的方法
2018/07/25 Python
对Python信号处理模块signal详解
2019/01/09 Python
Django web框架使用url path name详解
2019/04/29 Python
python第三方库学习笔记
2020/02/07 Python
HTML5 文件域+FileReader 分段读取文件并上传到服务器
2017/10/23 HTML / CSS
求职信的七个关键技巧
2014/02/05 职场文书
月度优秀员工获奖感言
2014/08/16 职场文书
计划生育证明书写要求
2014/09/17 职场文书
python编程项目中线上问题排查与解决
2021/11/01 Python