MongoDB 聚合

Posted 2023-05-13

参考技术A MongoDB 中聚合(aggregate)主要用于处理数据(诸如统计平均值，求和等)，并返回计算后的数据结果。

有点类似 SQL 语句中的 count(*)。

aggregate() 方法

MongoDB中聚合的方法使用aggregate()。

语法

aggregate() 方法的基本语法格式如下所示：

>db.COLLECTION_NAME.aggregate(AGGREGATE_OPERATION)

实例

集合中的数据如下：



  _id: ObjectId(7df78ad8902c)

  title: 'MongoDB Overview',

  description: 'MongoDB is no sql database',

  by_user: 'runoob.com',

  url: 'http://www.runoob.com',

  tags: ['mongodb', 'database', 'NoSQL'],

  likes: 100

,



  _id: ObjectId(7df78ad8902d)

  title: 'NoSQL Overview',

  description: 'No sql database is very fast',

  by_user: 'runoob.com',

  url: 'http://www.runoob.com',

  tags: ['mongodb', 'database', 'NoSQL'],

  likes: 10

,



  _id: ObjectId(7df78ad8902e)

  title: 'Neo4j Overview',

  description: 'Neo4j is no sql database',

  by_user: 'Neo4j',

  url: 'http://www.neo4j.com',

  tags: ['neo4j', 'database', 'NoSQL'],

  likes: 750

,

现在我们通过以上集合计算每个作者所写的文章数，使用aggregate()计算结果如下：

> db.mycol.aggregate([$group : _id : "$by_user", num_tutorial : $sum : 1])



  "result" : [

     

        "_id" : "runoob.com",

        "num_tutorial" : 2

      ,

     

        "_id" : "Neo4j",

        "num_tutorial" : 1

     

  ],

  "ok" : 1



>

以上实例类似sql语句：

select by_user, count(*) from mycol group by by_user

在上面的例子中，我们通过字段 by_user 字段对数据进行分组，并计算 by_user 字段相同值的总和。

下表展示了一些聚合的表达式:

管道的概念

管道在Unix和Linux中一般用于将当前命令的输出结果作为下一个命令的参数。

MongoDB的聚合管道将MongoDB文档在一个管道处理完毕后将结果传递给下一个管道处理。管道操作是可以重复的。

表达式：处理输入文档并输出。表达式是无状态的，只能用于计算当前聚合管道的文档，不能处理其它的文档。

这里我们介绍一下聚合框架中常用的几个操作：

$project：修改输入文档的结构。可以用来重命名、增加或删除域，也可以用于创建计算结果以及嵌套文档。

$match：用于过滤数据，只输出符合条件的文档。$match使用MongoDB的标准查询操作。

$limit：用来限制MongoDB聚合管道返回的文档数。

$skip：在聚合管道中跳过指定数量的文档，并返回余下的文档。

$unwind：将文档中的某一个数组类型字段拆分成多条，每条包含数组中的一个值。

$group：将集合中的文档分组，可用于统计结果。

$sort：将输入文档排序后输出。

$geoNear：输出接近某一地理位置的有序文档。

管道操作符实例

1、$project实例

db.article.aggregate(

    $project :

        title : 1 ,

        author : 1 ,

   

);

这样的话结果中就只还有_id,tilte和author三个字段了，默认情况下_id字段是被包含的，如果要想不包含_id话可以这样:

db.article.aggregate(

    $project :

        _id : 0 ,

        title : 1 ,

        author : 1

    );

2.$match实例

db.articles.aggregate( [

                        $match : score : $gt : 70, $lte : 90 ,

                        $group: _id: null, count: $sum: 1

                      ] );

$match用于获取分数大于70小于或等于90记录，然后将符合条件的记录送到下一阶段$group管道操作符进行处理。

3.$skip实例

db.article.aggregate(

    $skip : 5 );

经过$skip管道操作符处理后，前五个文档被"过滤"掉。

end

微信搜索：嘀嗒运维

有惊喜！

mongodb Aggregation聚合操作之$sort

参考技术A 在上一篇 mongodb Aggregation聚合操作之$match 中详细介绍了mongodb聚合操作中的$match使用以及参数细节。本篇将开始介绍Aggregation聚合操作中的$sort操作。

说明:

 对所有输入文档进行排序，并将它们按排序顺序返回到管道。

语法:

  $sort: <field1>: <sort order>, <field2>: <sort order> ...

$sort接收一个文档，该文档指定要排序的字段和相应的排序顺序。<排序顺序>可以有以下值之一:

1:升序排序

－1:降序排序

$meta: "textScore" :按计算的textScore元数据降序排序。

注意【如果对多个字段进行排序，则从左到右计算排序顺序。例如，在上面的表单中，文档首先按<field1>排序。然后，具有相同<field1>值的文档按<field2>进一步排序。】示例

对于要排序的字段或字段，将排序顺序设置为1或-1，分别指定升序或降序排序，如下例所示:该操作对users集合中的文档进行排序，根据age字段降序排列，然后根据posts字段中的值升序排列。

db.users.aggregate(

   [

      $sort : age : -1, posts: 1

   ]

)

在<sort-key>文档中指定计算出的元数据的新字段名，并指定$meta表达式作为它的值，如下面的示例所示:该操作使用$text操作符匹配文档，然后首先按“textScore”元数据排序，然后按posts字段的降序排序。指定的元数据决定排序顺序。例如，“textScore”元数据按降序排序。

db.users.aggregate(

   [

      $match: $text: $search: "operating" ,

      $sort: score: $meta: "textScore" , posts: -1

   ]

)

$sort + $limit内存优化

当$sort在$limit之前并且没有修改文档数量的中间阶段时，优化器可以将$limit合并到$sort中。这允许$sort操作在进行过程中只维护顶部的n个结果，其中n是指定的限制，并确保MongoDB只需要在内存中存储n个项目。当allowDiskUse为true且n项超过聚合内存限制时，这种优化仍然适用。优化可能会在不同版本之间发生变化。

$sort阶段的RAM有100兆字节的限制。默认情况下，如果阶段超过这个限制，$sort将产生一个错误。为了允许处理大型数据集，将allowDiskUse选项设置为true，以允许$sort操作写入临时文件。有关详细信息，请参阅db.collection.aggregate()方法中的allowDiskUse选项和aggregate命令。

版本2.6中的变化:$sort的内存限制从RAM的10%更改为100兆字节。

如果将$sort操作符放置在管道的开头，或放置在$project、$unwind和$group聚合操作符之前，则可以利用索引。如果$project、$unwind或$group发生在$sort操作之前，则$sort不能使用任何索引