MongoDB聚合操作总结

Posted cui_yonghua

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了MongoDB聚合操作总结相关的知识,希望对你有一定的参考价值。

基础篇(能解决工作中80%的问题):

  1. MongoDB的概述、应用场景、下载方式、连接方式和发展历史等

  2. MongoDB数据类型、重要概念以及shell常用指令

  3. MongoDB文档的各种增加、更新、删除操作总结

  4. MongoDB各种查询操作总结

  5. MongoDB对列的各种操作总结

  6. MongoDB中的索引操作总结

进阶篇:

  1. MongoDB聚合操作总结

  2. MongoDB的导入导出、备份恢复总结

  3. MongoDB的用户管理总结

  4. MongoDB复制(副本集)总结

  5. MongoDB 分片总结

  6. MongoDB 遇见 spark(进行整合)

  7. MongoDB内部的存储原理

其它:

  1. python3操作MongoDB的各种案例

  2. MongoDB命令汇总

1. 聚合操作的作用

MongoDB 中聚合(aggregate)主要用于处理数据(诸如统计平均值,求和等),并返回计算后的数据结果。

有点类似 SQL 语句中的 count(*), sum(), avg()

2. aggregate() 方法

MongoDB中聚合的方法使用aggregate()。

语法格式:db.COLLECTION_NAME.aggregate(AGGREGATE_OPERATION)

案例:计算每个作者所写的文章数,使用aggregate()计算结果如下

db.mycol.aggregate([$group : _id : "$by_user", num_tutorial : $sum : 1])

# 类似SQL语句
select by_user, count(*) from mycol group by by_user;

在上面的例子中,通过字段 by_user 字段对数据进行分组,并计算 by_user 字段相同值的总和。

3. 常见的聚合表达式

1、$sum 计算总和。

db.mycol.aggregate([$group : _id : "$by_user", num_tutorial : $sum : "$likes"])

1、$avg 计算平均值

db.mycol.aggregate([$group : _id : "$by_user", num_tutorial : $avg : "$likes"])

1、$min 获取集合中所有文档对应值得最小值。

db.mycol.aggregate([$group : _id : "$by_user", num_tutorial : $min : "$likes"])

1、$max 获取集合中所有文档对应值得最大值。

db.mycol.aggregate([$group : _id : "$by_user", num_tutorial : $max : "$likes"])

1、$push 将值加入一个数组中,不会判断是否有重复的值。

db.mycol.aggregate([$group : _id : "$by_user", url : $push: "$url"])

1、$addToSet 将值加入一个数组中,会判断是否有重复的值,若相同的值在数组中已经存在了,则不加入。

db.mycol.aggregate([$group : _id : "$by_user", url : $addToSet : "$url"])

1、$first 根据资源文档的排序获取第一个文档数据。

db.mycol.aggregate([$group : _id : "$by_user", first_url : $first : "$url"])

1、$last 根据资源文档的排序获取最后一个文档数据

db.mycol.aggregate([$group : _id : "$by_user", last_url : $last : "$url"])

4. 管道的概念

管道在Unix和Linux中一般用于将当前命令的输出结果作为下一个命令的参数。

MongoDB的聚合管道将MongoDB文档在一个管道处理完毕后将结果传递给下一个管道处理。管道操作是可以重复的。

表达式:处理输入文档并输出。表达式是无状态的,只能用于计算当前聚合管道的文档,不能处理其它的文档。

聚合管道示意图

相当于Sql语句: Select cust_id,sum(amount)as total from orders where status= "A"

聚合框架中常用的几个操作

  1. $project:修改输入文档的结构。可以用来重命名、增加或删除域,也可以用于创建计算结果以及嵌套文档。
  2. $match:用于过滤数据,只输出符合条件的文档。$match使用MongoDB的标准查询操作。
  3. $limit:用来限制MongoDB聚合管道返回的文档数。
  4. $skip:在聚合管道中跳过指定数量的文档,并返回余下的文档。
  5. $unwind:将文档中的某一个数组类型字段拆分成多条,每条包含数组中的一个值。
  6. $group:将集合中的文档分组,可用于统计结果。
  7. $sort:将输入文档排序后输出。
  8. $geoNear:输出接近某一地理位置的有序文档。

案例1:$project

db.article.aggregate($project: title: 1, author: 1,);

# 默认情况下_id字段是被包含的,如果要想不包含_id话可以这样
db.article.aggregate($project: _id : 0 ,title: 1 ,author: 1);

案例2:$match案例, 获取分数大于70小于或等于90记录,然后将符合条件的记录送到下一阶段$group管道操作符进行处理。

db.articles.aggregate([ $match :  score :  $gt : 70, $lte : 90   , $group:  _id: null, count:  $sum: 1   ]);

案例3:经过$skip管道操作符处理后,前五个文档被"过滤"掉。

db.article.aggregate($skip : 5 );

5. SQL和聚合对应关系

SQL术语、函数、概念MongoDB聚合操作
WHERE$match
GROUP BY$group
HAVING$match
SELECT$project
ORDER BY$sort
LIMIT$limit
SUM()$sum
COUNT()$sum , $sortByCount
join$lookup (3.2版本新增)
SELECT INTO NEW_TABLE$out
MERGE INTO TABLE$merge (Available starting in MongoDB 4.2)
UNION ALL$unionWith (Available starting in MongoDB 4.4)

以上是关于MongoDB聚合操作总结的主要内容,如果未能解决你的问题,请参考以下文章

04 MongoDB各种查询操作 以及聚合操作总结

04 MongoDB各种查询操作 以及聚合操作总结

如何汇总 MongoDB 中的总和以获得总计数?

MongoDB 聚合:从先前行的总和计算运行总计

python3操作MongoDB的crud以及聚合案例,代码可直接运行(python经典编程案例)

python3操作MongoDB的crud以及聚合案例,代码可直接运行(python经典编程案例)