详解MongoDB排序时内存大小限制与创建索引的注意事项


Posted in MongoDB onMay 06, 2022

线上服务的MongoDB中有一个很大的表,我查询时使用了sort()根据某个字段进行排序,结果报了下面这个错误:

[Error] Executor error during find command :: caused by :: Sort operation used more than the maximum 33554432 bytes of RAM. Add an index, or specify a smaller limit.
at line 0, column 0

这是个非常常见的MongoDB报错了。因为MongoDB处理排序时,如果排序的字段没有建立索引,会把全表都丢到内存中处理。

If MongoDB cannot use an index or indexes to obtain the sort order, MongoDB must perform a blocking sort operation on the data. A blocking sort indicates that MongoDB must consume and process all input documents to the sort before returning results.

而内存的大小并不是无限使用的,MongoDB的默认设置是32MB。一旦数据量超过32MB,则会报错。

参数internalQueryExecMaxBlockingSortBytes

32MB这个限制是在参数internalQueryExecMaxBlockingSortBytes中控制。你可以在MongoDB的客户端上直接查看这个参数的值,执行以下语句:

db.runCommand({
    getParameter: 1,
    "internalQueryExecMaxBlockingSortBytes": 1
})

返回如下结果:

// 1
{
    "internalQueryExecMaxBlockingSortBytes": NumberInt("33554432"),
    "ok": 1,
    "operationTime": Timestamp(1651142670, 1),
    "$clusterTime": {
        "clusterTime": Timestamp(1651142670, 1),
        "signature": {
            "hash": BinData(0, "X09M2FBji5f+FOwaK/nLTv4+Ybs="),
            "keyId": NumberLong("7080087363631710209")
        }
    }
}

所以解决排序时内存使用超过32MB的问题,有两个方法:

给排序的字段加索引。具体怎么加索引,会在后面细讲。

修改internalQueryExecMaxBlockingSortBytes参数的大小,使用命令如下:

db.adminCommand({
    setParameter: 1,
    internalQueryExecMaxBlockingSortBytes: 104857600
})

MongoDB 4.3的internalQueryMaxBlockingSortMemoryUsageBytes

我准备在本地的MongoDB上复现这个问题,于是把这个表直接导入到本地MongoDB中。结果发现排序时并没有报错。使用上面的命令查看internalQueryExecMaxBlockingSortBytes参数的值时,返回如下结果:

[17][ProtocolError] no option found to get

Google了一下,发现了MongoDB的官方网站上的两个相关JIRA。

第一个JIRA [SERVER-44053] Rename setParameter for maximum memory usage of blocking sort - MongoDB Jira里表示,在4.3.1版本时,因为参数命名描述不清楚,所以将参数internalQueryExecMaxBlockingSortBytes改为了internalQueryMaxBlockingSortMemoryUsageBytes。这解释了为什么我执行查询参数的语句时,没有返回结果。

第二个JIRA [SERVER-50767] internalQueryExecMaxBlockingSortBytes causing config exception on mongod load - Mongo中,Comments里提到了,新的internalQueryMaxBlockingSortMemoryUsageBytes参数,默认值从32MB改成了100MB。也许我的这个表使用100MB内存进行排序就够用了,所以没有报错。

详解MongoDB排序时内存大小限制与创建索引的注意事项

所以在4.3以上的版本(本机是5.0.4),执行以下命令:

db.runCommand({
    getParameter: 1,
    "internalQueryMaxBlockingSortMemoryUsageBytes": 1
})

可以看到查询结果:

{
    "internalQueryMaxBlockingSortMemoryUsageBytes": NumberInt("104857600"),
    "ok": 1
}

而服务器上的MongoDB版本为4.0.3,因此是爆出来最上面的问题。

排序字段如何加索引?

这是个很简单的问题,你用哪个字段排序,就对哪个字段加索引就好了。比如我要根据A字段进行排序,则增加A字段的索引。

-- 加索引
db.bigMongoTable.createIndex({
    "A": 1
});
-- 查询
db.bigMongoTable.find({}).sort({
    "A": 1
});

但是如果我改主意了,我要根据A、B两个字段做排序:

db.bigMongoTable.find({}).sort({
    "A": 1,
    "B": 1
});

那么熟悉的报错就又回来了。

是的!机智的MongoDB并不会像我们想的那样,先用上A的索引,从而省点力气。他依旧会把全部的数据丢到内存里排序……

那我再加个B字段的索引吧,毕竟在MongoDB查询的时候,对两个字段分别建单键索引,灵活性比直接建一个复合索引要好一些,而且MongoDB的索引交集也可以让这两个单键索引实现和复合索引一样的效果。

哦,不行哟,还是那个报错。

所以,当多字段排序时,你必须要建一个包含了这些字段的复合索引,且要注意以下几点:

  • 查询时参与排序的多个字段的顺序,要和创建的索引每个字段的顺序保持一致。比如你创建的索引是:db.bigMongoTable.createIndex({"A":1,"B":1,"C":1});那么你的排序语句也要按照顺序如下:sort({"A":1,"B":1,"C":1})。如果你调换A和B的顺序,如下:sort({"B":1,"A":1,"C":1}),则索引不会生效。
  • 参与查询的字段少于索引的字段,则要保证符合前缀匹配。还是第一点里的索引,如果排序语句是这样:sort({"A":1,"B":1}),则索引继续生效。如果是这样:sort({"A":1,"C":1}),则无法生效。这个你可以理解成和MySQL类似,索引都是按照最左匹配规则去触发的,一条索引的中间部分跳过了就无效了。
  • 参与sort的字段的排序方式,要和创建索引时的排序方式保持完全一致,或者完全相反。对于第一点里的索引,如果查询sort({"A":-1,"B":1})或者sort({"A":1,"B":-1}),索引则不会生效。只有在查询sort({"A":1,"B":1})或者sort({"A":-1,"B":-1})时,索引才会生效。

总结

  • MongoDB的查询结果在进行排序时,如果排序字段没有添加索引,会将数据全部放到内存中计算。如果数据量过大,超过配置的内存大小,则会报错。
  • 4.3版本之前,使用内存的最大值通过参数internalQueryExecMaxBlockingSortBytes控制,默认为32MB。4.3版本之后,通过参数internalQueryMaxBlockingSortMemoryUsageBytes控制。
  • 正常的解决方式是添加索引,但是索引要包括全部参与排序的字段,且要遵循前缀匹配策略。

到此这篇关于详解MongoDB排序时内存大小限制与创建索引的注意事项的文章就介绍到这了!


Tags in this post...

MongoDB 相关文章推荐
MongoDB orm框架的注意事项及简单使用
Jun 20 MongoDB
详解MongoDB的条件查询和排序
Jun 23 MongoDB
关于CentOS 8 搭建MongoDB4.4分片集群的问题
Oct 24 MongoDB
SpringBoot系列之MongoDB Aggregations用法详解
Feb 12 MongoDB
剖析后OpLog订阅MongoDB的数据变更就没那么难了
Feb 24 MongoDB
mongoDB数据库索引快速入门指南
Mar 23 MongoDB
MongoDB支持的数据类型
Apr 11 MongoDB
Mongodb 迁移数据块的流程介绍分析
Apr 18 MongoDB
MongoDB数据库之添删改查
Apr 26 MongoDB
详解MongoDB排序时内存大小限制与创建索引的注意事项
May 06 MongoDB
MongoDB数据库之添删改查
Mongodb 迁移数据块的流程介绍分析
SpringBoot集成MongoDB实现文件上传的步骤
Apr 18 #MongoDB
Centos系统通过Docker安装并搭建MongoDB数据库
MongoDB修改oplog大小的四种方法
Apr 11 #MongoDB
MongoDB支持的索引类型
Apr 11 #MongoDB
MongoDB支持的数据类型
Apr 11 #MongoDB
You might like
php创建多级目录代码
2008/06/05 PHP
php解析xml方法实例详解
2015/05/12 PHP
PHP中list方法用法示例
2016/12/01 PHP
PHP数据库操作三:redis用法分析
2017/08/16 PHP
PHP中使用mpdf 导出PDF文件的实现方法
2018/10/22 PHP
JS date对象的减法处理实现代码
2010/12/28 Javascript
js简单实现HTML标签Select联动带跳转
2013/10/23 Javascript
原生javaScript做得动态表格(注释写的很清楚)
2013/12/29 Javascript
点击显示指定元素隐藏其他同辈元素的方法
2014/02/19 Javascript
在jquery中的ajax方法怎样通过JSONP进行远程调用
2014/04/04 Javascript
JavaScript制作windows经典扫雷小游戏
2015/03/31 Javascript
jquery实现LED广告牌旋转系统图片切换效果代码分享
2015/08/26 Javascript
javascript实现获取指定精度的上传文件的大小简单实例
2016/10/25 Javascript
Node.js批量给图片加水印的方法
2016/11/15 Javascript
JS实现闭包中的沙箱模式示例
2017/09/07 Javascript
微信小程序的生命周期的详解
2017/10/19 Javascript
基于Bootstrap实现城市三级联动
2017/11/23 Javascript
Bootbox将后台JSON数据填充Form表单的实例代码
2018/09/10 Javascript
js中的闭包实例展示
2018/11/01 Javascript
详解VUE里子组件如何获取父组件动态变化的值
2018/12/26 Javascript
JavaScript计算正方形面积
2019/11/26 Javascript
vue 输入电话号码自动按3-4-4分割功能的实现代码
2020/04/30 Javascript
Python实现多行注释的另类方法
2014/08/22 Python
更改Python命令行交互提示符的方法
2015/01/14 Python
Python类定义和类继承详解
2015/05/08 Python
python并发和异步编程实例
2018/11/15 Python
Python操作rabbitMQ的示例代码
2019/03/19 Python
Python3.7安装keras和TensorFlow的教程图解
2020/06/18 Python
10个很棒的 CSS3 开发工具 推荐
2011/05/16 HTML / CSS
Proenza Schouler官方网站:纽约女装和配饰品牌
2019/01/03 全球购物
四年的大学生生活自我评价
2013/12/09 职场文书
2014年母亲节演讲稿范文
2014/05/07 职场文书
多媒体教室标语
2014/06/26 职场文书
市场部经理岗位职责
2015/02/02 职场文书
小学记事作文之200字
2019/08/06 职场文书
《岳阳楼记》原文、译文赏析
2019/09/10 职场文书