详解MongoDB排序时内存大小限制与创建索引的注意事项


Posted in MongoDB onMay 06, 2022

线上服务的MongoDB中有一个很大的表,我查询时使用了sort()根据某个字段进行排序,结果报了下面这个错误:

[Error] Executor error during find command :: caused by :: Sort operation used more than the maximum 33554432 bytes of RAM. Add an index, or specify a smaller limit.
at line 0, column 0

这是个非常常见的MongoDB报错了。因为MongoDB处理排序时,如果排序的字段没有建立索引,会把全表都丢到内存中处理。

If MongoDB cannot use an index or indexes to obtain the sort order, MongoDB must perform a blocking sort operation on the data. A blocking sort indicates that MongoDB must consume and process all input documents to the sort before returning results.

而内存的大小并不是无限使用的,MongoDB的默认设置是32MB。一旦数据量超过32MB,则会报错。

参数internalQueryExecMaxBlockingSortBytes

32MB这个限制是在参数internalQueryExecMaxBlockingSortBytes中控制。你可以在MongoDB的客户端上直接查看这个参数的值,执行以下语句:

db.runCommand({
    getParameter: 1,
    "internalQueryExecMaxBlockingSortBytes": 1
})

返回如下结果:

// 1
{
    "internalQueryExecMaxBlockingSortBytes": NumberInt("33554432"),
    "ok": 1,
    "operationTime": Timestamp(1651142670, 1),
    "$clusterTime": {
        "clusterTime": Timestamp(1651142670, 1),
        "signature": {
            "hash": BinData(0, "X09M2FBji5f+FOwaK/nLTv4+Ybs="),
            "keyId": NumberLong("7080087363631710209")
        }
    }
}

所以解决排序时内存使用超过32MB的问题,有两个方法:

给排序的字段加索引。具体怎么加索引,会在后面细讲。

修改internalQueryExecMaxBlockingSortBytes参数的大小,使用命令如下:

db.adminCommand({
    setParameter: 1,
    internalQueryExecMaxBlockingSortBytes: 104857600
})

MongoDB 4.3的internalQueryMaxBlockingSortMemoryUsageBytes

我准备在本地的MongoDB上复现这个问题,于是把这个表直接导入到本地MongoDB中。结果发现排序时并没有报错。使用上面的命令查看internalQueryExecMaxBlockingSortBytes参数的值时,返回如下结果:

[17][ProtocolError] no option found to get

Google了一下,发现了MongoDB的官方网站上的两个相关JIRA。

第一个JIRA [SERVER-44053] Rename setParameter for maximum memory usage of blocking sort - MongoDB Jira里表示,在4.3.1版本时,因为参数命名描述不清楚,所以将参数internalQueryExecMaxBlockingSortBytes改为了internalQueryMaxBlockingSortMemoryUsageBytes。这解释了为什么我执行查询参数的语句时,没有返回结果。

第二个JIRA [SERVER-50767] internalQueryExecMaxBlockingSortBytes causing config exception on mongod load - Mongo中,Comments里提到了,新的internalQueryMaxBlockingSortMemoryUsageBytes参数,默认值从32MB改成了100MB。也许我的这个表使用100MB内存进行排序就够用了,所以没有报错。

详解MongoDB排序时内存大小限制与创建索引的注意事项

所以在4.3以上的版本(本机是5.0.4),执行以下命令:

db.runCommand({
    getParameter: 1,
    "internalQueryMaxBlockingSortMemoryUsageBytes": 1
})

可以看到查询结果:

{
    "internalQueryMaxBlockingSortMemoryUsageBytes": NumberInt("104857600"),
    "ok": 1
}

而服务器上的MongoDB版本为4.0.3,因此是爆出来最上面的问题。

排序字段如何加索引?

这是个很简单的问题,你用哪个字段排序,就对哪个字段加索引就好了。比如我要根据A字段进行排序,则增加A字段的索引。

-- 加索引
db.bigMongoTable.createIndex({
    "A": 1
});
-- 查询
db.bigMongoTable.find({}).sort({
    "A": 1
});

但是如果我改主意了,我要根据A、B两个字段做排序:

db.bigMongoTable.find({}).sort({
    "A": 1,
    "B": 1
});

那么熟悉的报错就又回来了。

是的!机智的MongoDB并不会像我们想的那样,先用上A的索引,从而省点力气。他依旧会把全部的数据丢到内存里排序……

那我再加个B字段的索引吧,毕竟在MongoDB查询的时候,对两个字段分别建单键索引,灵活性比直接建一个复合索引要好一些,而且MongoDB的索引交集也可以让这两个单键索引实现和复合索引一样的效果。

哦,不行哟,还是那个报错。

所以,当多字段排序时,你必须要建一个包含了这些字段的复合索引,且要注意以下几点:

  • 查询时参与排序的多个字段的顺序,要和创建的索引每个字段的顺序保持一致。比如你创建的索引是:db.bigMongoTable.createIndex({"A":1,"B":1,"C":1});那么你的排序语句也要按照顺序如下:sort({"A":1,"B":1,"C":1})。如果你调换A和B的顺序,如下:sort({"B":1,"A":1,"C":1}),则索引不会生效。
  • 参与查询的字段少于索引的字段,则要保证符合前缀匹配。还是第一点里的索引,如果排序语句是这样:sort({"A":1,"B":1}),则索引继续生效。如果是这样:sort({"A":1,"C":1}),则无法生效。这个你可以理解成和MySQL类似,索引都是按照最左匹配规则去触发的,一条索引的中间部分跳过了就无效了。
  • 参与sort的字段的排序方式,要和创建索引时的排序方式保持完全一致,或者完全相反。对于第一点里的索引,如果查询sort({"A":-1,"B":1})或者sort({"A":1,"B":-1}),索引则不会生效。只有在查询sort({"A":1,"B":1})或者sort({"A":-1,"B":-1})时,索引才会生效。

总结

  • MongoDB的查询结果在进行排序时,如果排序字段没有添加索引,会将数据全部放到内存中计算。如果数据量过大,超过配置的内存大小,则会报错。
  • 4.3版本之前,使用内存的最大值通过参数internalQueryExecMaxBlockingSortBytes控制,默认为32MB。4.3版本之后,通过参数internalQueryMaxBlockingSortMemoryUsageBytes控制。
  • 正常的解决方式是添加索引,但是索引要包括全部参与排序的字段,且要遵循前缀匹配策略。

到此这篇关于详解MongoDB排序时内存大小限制与创建索引的注意事项的文章就介绍到这了!


Tags in this post...

MongoDB 相关文章推荐
详解MongoDB的条件查询和排序
Jun 23 MongoDB
SpringBoot整合MongoDB的实现步骤
Jun 23 MongoDB
Mongo服务重启异常问题的处理方法
Jul 01 MongoDB
mongodb数据库迁移变更的解决方案
Sep 04 MongoDB
MongoDB日志切割的三种方式总结
Sep 15 MongoDB
关于CentOS 8 搭建MongoDB4.4分片集群的问题
Oct 24 MongoDB
centos8安装MongoDB的详细过程
Oct 24 MongoDB
SpringBoot系列之MongoDB Aggregations用法详解
Feb 12 MongoDB
MongoDB使用场景总结
Feb 24 MongoDB
MongoDB数据库部署环境准备及使用介绍
Mar 21 MongoDB
MongoDB支持的数据类型
Apr 11 MongoDB
SpringBoot集成MongoDB实现文件上传的步骤
Apr 18 MongoDB
MongoDB数据库之添删改查
Mongodb 迁移数据块的流程介绍分析
SpringBoot集成MongoDB实现文件上传的步骤
Apr 18 #MongoDB
Centos系统通过Docker安装并搭建MongoDB数据库
MongoDB修改oplog大小的四种方法
Apr 11 #MongoDB
MongoDB支持的索引类型
Apr 11 #MongoDB
MongoDB支持的数据类型
Apr 11 #MongoDB
You might like
在字符串中把网址改成超级链接
2006/10/09 PHP
mysql5详细安装教程
2007/01/15 PHP
php中的数组操作函数整理
2008/08/18 PHP
PHP正确配置mysql(apache环境)
2011/08/28 PHP
求PHP数组最大值,最小值的代码
2011/10/31 PHP
Symfony2实现在controller中获取url的方法
2016/03/18 PHP
php上传大文件设置方法
2016/04/14 PHP
Symfony2创建基于域名的路由相关示例
2016/11/14 PHP
使用EXT实现无刷新动态调用股票信息
2008/11/01 Javascript
js 禁用浏览器的后退功能的简单方法
2008/12/10 Javascript
网页上的Javascript编辑器和代码格式化
2010/04/25 Javascript
javascript 进阶篇2 CSS XML学习
2012/03/14 Javascript
JavaScript中document.forms[0]与getElementByName区别
2015/01/21 Javascript
理解javascript中的严格模式
2016/02/01 Javascript
Google 地图事件实例讲解
2016/08/06 Javascript
Vue代码分割懒加载的实现方法
2017/11/23 Javascript
Vue官方推荐AJAX组件axios.js使用方法详解与API
2018/10/09 Javascript
微信小程序 image组件遇到的问题
2019/05/28 Javascript
[03:49]DOTA2 2015国际邀请赛中国区预选赛第二日现场百态
2015/05/27 DOTA
[01:30]2016国际邀请赛中国区预选赛神秘商店火爆开启
2016/06/26 DOTA
动态创建类实例代码
2009/10/07 Python
Python单链表的简单实现方法
2014/09/23 Python
不归路系列:Python入门之旅-一定要注意缩进!!!(推荐)
2019/04/16 Python
详解Python 爬取13个旅游城市,告诉你五一大家最爱去哪玩?
2019/05/07 Python
VPS CENTOS 上配置python,mysql,nginx,uwsgi,django的方法详解
2019/07/01 Python
让Python脚本暂停执行的几种方法(小结)
2019/07/11 Python
pycharm 关掉syntax检查操作
2020/06/09 Python
python 无损批量压缩图片(支持保留图片信息)的示例
2020/09/22 Python
Java 中访问数据库的步骤?Statement 和PreparedStatement 之间的区别?
2012/06/05 面试题
好家长事迹材料
2014/01/23 职场文书
电子商务专业应届生求职信
2014/05/28 职场文书
校园标语大全
2014/06/19 职场文书
房地产经营管理专业自荐信
2014/09/02 职场文书
党在我心中的演讲稿
2014/09/13 职场文书
群众路线个人整改措施
2014/10/24 职场文书
导游词之重庆渣滓洞
2020/01/08 职场文书