mongo中的高级查询之聚合操作(distinct,count,group)与数据去重
Posted
tags:
篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了mongo中的高级查询之聚合操作(distinct,count,group)与数据去重相关的知识,希望对你有一定的参考价值。
参考技术A Mongodb中自带的基本聚合函数有三种:count、distinct和group。下面我们分别来讲述一下这三个基本聚合函数。(1)count
作用:简单统计集合中符合某种条件的文档数量。
使用方式:db.collection.count(<query>)或者db.collection.find(<query>).count()
参数说明:其中<query>是用于查询的目标条件。如果出了想限定查出来的最大文档数,或者想统计后跳过指定条数的文档,则还需要借助于limit,skip。
举例:
db.collection.find(<query>).limit();
db.collection.find(<query>).skip();
(2)distinct
作用:用于对集合中的文档针进行去重处理
使用方式:db,collection.distinct(field,query)
参数说明:field是去重字段,可以是单个的字段名,也可以是嵌套的字段名;query是查询条件,可以为空;
举例:
db.collection.distinct("user",“age":$gt:28);//用于查询年龄age大于28岁的不同用户名
除了上面的用法外,还可以使用下面的另外一种方法:
db.runCommand("distinct":"collectionname","key":"distinctfied","query":<query>)
collectionname:去重统计的集合名,distinctfield:去重字段,,<query>是可选的限制条件;
举例:
这两种方式的区别:第一种方法是对第二种方法的封装,第一种只返回去重统计后的字段值集合,但第二种方式既返回字段值集合也返回统计时的细节信息。
(3)group
作用:用于提供比count、distinct更丰富的统计需求,可以使用js函数控制统计逻辑
使用方式:db.collection.group(key,reduce,initial[,keyf][,cond][,finalize])
备注说明:在2.2版本之前,group操作最多只能返回10000条分组记录,但是从2.2版本之后到2.4版本,mongodb做了优化,能够支持返回20000条分组记录返回,如果分组记录的条数大于20000条,那么可能你就需要其他方式进行统计了,比如聚合管道或者MapReduce;
===========================================================
mongo中的高级查询之聚合操作(distinct,count,group)
1.distinct的实现:
2.count的实现
3.group的实现
(1).分组求和:类似于mysql中的 select act,sum(count) from consumerecords group by act
(2).分组求和,过滤。类似mysql中的select act,sum(count) from consumerecords group by act having act='charge';
(3).将时间格式化并且按时间分组求count,不推荐使用这种方法。
db.playerlogs.aggregate( concat:[ year:" substr:[ start",0,4], dayOfMonth:" group:_id:" sum:1,$sort:con:1) ;
group按时间分组(时间格式化)
http://www.tuicool.com/articles/EjUnQz
javascriptz中时间的相关函数参考:
http://blog.csdn.net/npp616/article/details/7181730
(4).group 分组方法实现的讲解。
group 的完整语法是。
参数解释:
key:需要分组的键或是函数(function),group分组实例3中的key就是一个函数值
initial:声明并且初始化变量。每一组共享一个变量值。多个变量之间用逗号隔开
$reduce:循环体,集合中有多少个文档,就会循环多少次。函数(function)中变量doc表示当前文档对象,
prev表示累积处理的结果对象(这个地方可能描述的不是很情况,自己慢慢体会)
finalize:可选参数,可以简单理解为对分组之后的结果的再次处理,doc表示group之后的文档对象(这一步也是一个循环体
condition:可选参数,对已经分组好的结果进行过滤,有点类似于mysql中的having
4.mapReduce:暂缺,要想玩转这个方法需要有很强的JavaScript功能。
据说mapReduce 可以实现很复杂的查询,可以将一个复杂的查询分拆到多个机器上运行,
然后把各个结果集组合起来,形成最终结果。但是很慢。
mapreduce用法大全
http://www.cnblogs.com/yuechaotian/archive/2013/02/22/2922268.html
mapreduce性能调优
http://www.iteye.com/news/28013
数组中去除重复值示例
http://www.cnblogs.com/sosoft/archive/2013/12/08/3463830.html
5.db.runCommand的相关命令.
db.runCommand(distinct:"consumerecords",key:"userId"):键值去重 类似于mysql中的 select distinct userId from consumerecords
db.runCommand(distinct:"consumerecords",key:"userId").values.length:去重之后求记录数,类似于mysql中的 select count(distinct userId) from consumerecords
db.runCommand(distinct:"consumerecords",key:"userId",query:act:"charge"):去重之后求记录数,类似于mysql中的 select distinct userId from consumerecords where act="charge"
db.runCommand(
...
... group:
...
... ns:"test2", # 集合名
... key:iname:true, # 分组字段
... initial:dd:0, # 按照来初始化该值
... reduce之后 ,function返回的值
...
... prev.dd=doc.iage+prev.dd #
...
...
...
...
... )
数值以字符串形式存储的解决方案:
db.runCommand(
group:
ns:"consumerecords",
key:act:true,
initial:ct:100,tt:0,
$reduce:function(doc,prev)
,
)
去重
1, 直接使用distinct 语句查询, 这种查询会将所有查询出来的数据返回给用户, 然后对查询出来的结果集求总数(耗内存,耗时一些)
var len = db.student.distinct("name","age" : 18).length;
print(len)
注,使用这种方法查询时,查询的结果集大于16M 时会查询失败,失败信息如下:
“message” : “distinct failed: MongoError: distinct too big, 16mb cap”,”stack” : “script:1:20”
2, 使用聚合函数,多次分组统计结果,最终将聚合的结果数返回给用户
db.student.aggregate([
project:"name":true,
name",
sum:1
])
注,这种查询数据量大时就不会出现如上查询失败的情况,而且这种查询不管是内存消耗还是时间消耗都优于上面一种查询
ps:根据id分组,id指定为组合项的话,因为id不会重复,所以作用相当于把组合项去重了。
假如现在需要拿出collection的其他field的话,可以使用$push关键字
// 根据name和sex分组
// 把分组后的name,sex,age放到对应的Document下,形成一个数组
db.student.aggregate(
[
name", sex: " push: " push: " push: "$age"
]
). forEach(function(x)
db.temp.insert(
name: x.name,
sex : x.sex,
age: x.age
);
);
以上是关于mongo中的高级查询之聚合操作(distinct,count,group)与数据去重的主要内容,如果未能解决你的问题,请参考以下文章