MongoDB Aggregation
Posted
tags:
篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了MongoDB Aggregation相关的知识，希望对你有一定的参考价值。
参考技术A 对数据进行聚合操作，然后将计算之后的数据返回。聚合操作将多个文档的值组合在依赖，并且可以对分组数据执行各种操作返回单个结果。MongoDB提供三种方式来执行聚合操作：aggregation pipeline、map-reduce function、single purpose aggregation methods。
MongoDB 聚合操作是在数据处理管道的逻辑上建模的。documents可以进入一个用于处理docuemnt然后返回聚合值的多阶段管道。
底层的管道提供了filters(类似于查询的操作)和document transformations(修改document的输出形式)操作。
其他管道操作为document指定具体的属性或者多个属性进行分组和排序，以及用array内容的聚合工具一样。管道的阶段可以使用运算符执行任务。
管道使用MongoDB自带的本地操作来执行聚合操作更高效，管道是MongoDB执行聚合操作的首先。
聚合管道可以操作分片collection。聚合管道可以通过使用索引来提高性能。聚合管道内部会进行优化阶段。
可以使用db.collection.aggregate()的explain参数看到执行计划。
聚合管道来决定需要返回的字段。如果使用只需要的字段，这样可以减少数据量。
addFields + match放入到 addFields之前(如果是 project / $addFields的结果，就不能移动)，减少数据量。
match: 先执行$match来减少数据量，然后在执行排序操作。
match: 如果在前面添加$match操作，可以使用索引来减少数据操作。
skip(在3.2开始可以使用)：将 project操作之前，可以减少数据量。
通常情况下，在重新排序优化之后才会发生阶段合并。
limit:如果不能减少数据量，不会将这两个阶段合并。否则先进行排序，然后获取指定的数量，放入内存。如果在中间含有$skip操作，将其放入最后。
在数据量超过内存限制，这个操作需要设置 allowDiskUse=true。
从MongoDB3.6开始，删除了aggregate的选项，将结果作为一条数据的返回。
aggregate可以返回cursor或者数据结果集。在返回的结果中，每个document的大小不能超过16M(这个限制只针对返回的document)。
documents有可能会超过这个限制，db.collection.aggregate()默认返回cursor。
从MongoDB2.6开始，管道阶段的RAM限制为100M。如果超过限制，出错。如果为了处理大量的数据集，使用allowDiskUse选项开启管道阶段的聚合操作将数据写入到临时文件。
从MongoDB3.4之后， graphLookup操作会忽略这个选项。如果其他阶段有aggregate()操作，allowDiskUse=true将会影响这些阶段。
从MongoDB3.2开始，如果按照分片来匹配值，只会在这个分片内进行计算。
聚合操作在多个分片上执行操作，如果没有指定主分片，这些操作会被路由到其他分片上，来减少主分片的负载。
lookup阶段需要在主分片上执行查询。
将聚合管道拆分为两部分，这是为了在分片上执行优化。
操作可以 参考实例
MapReduce可以在分片上执行操作，分片集合可以作为输入或者输出。
使用分片集合作为MapReduce输入源，mongos将作业并行派发到各个分片。mongos会等待所有的作业完成。
如果MapReduce的out字段有分片值，MongoDB使用_id字段作为分片的依据。
作为一个分片集合输出:
在操作的过程中，mapreduce有很多锁：
相关 练习教程
MongoDB 聚合管道（Aggregation Pipeline）
以上是关于MongoDB Aggregation的主要内容，如果未能解决你的问题，请参考以下文章