mongodb Sort operation used more than the maximum 33554432 bytes of RAM
Posted 枫树湾河桥
tags:
篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了mongodb Sort operation used more than the maximum 33554432 bytes of RAM相关的知识,希望对你有一定的参考价值。
在 mongo 使用过程中遇到了一个问题,需求就是要对mongo 库中查询到数据进行分页,mongo库我们知道都会存储大容量的数据,如果库里数据多的话,这时会报一个 Query failed with error code 96 and error message ‘Executor error during find command:OperationFailed: Sort operation used more than the maximum 33554432 bytes of RAM.Add an index, or specify a smaller limit.‘
按照错误提示,知道这是排序的时候报的错,因为 mongo 的 sort 操作是在内存中操作的,必然会占据内存,同时mongo 内的一个机制限制排序时最大内存为 32M,当排序的数据量超过 32M,就会报上面的这个错,解决办法就像上面提示的意思,一是加大 mongo 的排序内存,这个一般是运维来管,也有弊端,就是数据量如果再大,还要往上加。另一个办法就是加索引,这个方法还是挺方便的。创建索引及时生效,不需要重启服务。 创建索引也不难,
db.你的collection.createIndex({"你的字段": -1}),此处 -1 代表倒序,1 代表正序;
db.你的collecton.getIndexes();
这两个语句,第一个是添加索引,第二个是查询索引,如果查看到你刚才添加的那个索引字段,就说明索引添加成功了。这时候在你的程序里再运用 sort 方法的话,这样就不会报错而且速度很快。
添加索引会带来一定的弊端,这样会导致数据插入的时候相对之前较慢,因为索引会占据空间的。综上考虑,根据实际情况判断采用合适的方法。
以上是关于mongodb Sort operation used more than the maximum 33554432 bytes of RAM的主要内容,如果未能解决你的问题,请参考以下文章
operator.itemgetter() 和 sort() 是如何工作的?
MongoDB - MongoDB CRUD Operations
python学习 -- operator.itemgetter(), list.sort/sorted 以及lambda函数
MongoDB - MongoDB CRUD Operations, Update Documents
错误:(gcloud.app.deploy)错误响应:[9] Flex 操作项目/.../regions/us-central1/operations/...错误 [FAILED_PRECONDITI