005.MongoDB索引及聚合

Posted 2021-12-22 itzgr

一 MongoDB 索引

索引通常能够极大的提高查询的效率，如果没有索引，MongoDB在读取数据时必须扫描集合中的每个文件并选取那些符合查询条件的记录。

这种扫描全集合的查询效率是非常低的，特别在处理大量的数据时，查询可以要花费几十秒甚至几分钟，这对网站的性能是非常致命的。

索引是特殊的数据结构，索引存储在一个易于遍历读取的数据集合中，索引是对数据库表中一列或多列的值进行排序的一种结构。

1.1 createIndex() 方法

MongoDB使用 createIndex() 方法来创建索引。

语法格式：

  1 > db.collection.createIndex(keys, options)

参数说明：

• Key ：key值为你要创建的索引字段；

• options：options为1 表示按升序创建索引，为-1表示按降序来创建索引。

  1 [[email protected] ~]# mongo --host 172.24.9.225 --port 27017 -u useradmin -p useradmin
  2 > use mydb
  3 > db.age01.createIndex(age: 1)
  4 
  5         "createdCollectionAutomatically" : false,
  6         "numIndexesBefore" : 1,
  7         "numIndexesAfter" : 2,
  8         "ok" : 1
  9 

 

createIndex() 方法中你也可以设置使用多个字段创建索引（关系型数据库中称作复合索引）。

  1 > db.age01.createIndex(age: 1, tel: -1)
  2 
  3         "createdCollectionAutomatically" : false,
  4         "numIndexesBefore" : 2,
  5         "numIndexesAfter" : 3,
  6         "ok" : 1
  7 

 

1.2 createIndex() 可选参数

可选参数列表如下：

Parameter	Type	Description
background	Boolean	建索引过程会阻塞其它数据库操作，background可指定以后台方式创建索引，即增加 "background" 可选参数。 "background" 默认值为false。
unique	Boolean	建立的索引是否唯一。指定为true创建唯一索引。默认值为false.
name	string	索引的名称。如果未指定，MongoDB的通过连接索引的字段名和排序顺序生成一个索引名称。
sparse	Boolean	对文档中不存在的字段数据不启用索引；这个参数需要特别注意，如果设置为true的话，在索引字段中不会查询出不包含对应字段的文档.。默认值为 false.
expireAfterSeconds	integer	指定一个以秒为单位的数值，完成 TTL设定，设定集合的生存时间。
v	index version	索引的版本号。默认的索引版本取决于mongod创建索引时运行的版本。
weights	document	索引权重值，数值在 1 到 99,999 之间，表示该索引相对于其他索引字段的得分权重。
default_language	string	对于文本索引，该参数决定了停用词及词干和词器的规则的列表。 默认为英语
language_override	string	对于文本索引，该参数指定了包含在文档中的字段名，语言覆盖默认的language，默认值为 language.

  1 > db.age01.createIndex(age: 1, tel: -1,background: ‘true‘)
  2 
  3         "numIndexesBefore" : 3,
  4         "numIndexesAfter" : 3,
  5         "note" : "all indexes already exist",
  6         "ok" : 1
  7 

 

1.3 查看索引

  1 > db.age01.getIndexes()

1.4 查看集合索引大小

  1 > db.age01.totalIndexSize()

1.5 删除指定集合

  1 > db.age01.dropIndex(‘age_1_tel_-1‘)
  2  "nIndexesWas" : 3, "ok" : 1 

 

1.6 删除所有索引

  1 > db.age01.dropIndexes()
  2 
  3         "nIndexesWas" : 2,
  4         "msg" : "non-_id indexes dropped for collection",
  5         "ok" : 1
  6 

 

二 MongoDB聚合

2.1 aggregate() 方法

MongoDB中聚合(aggregate)主要用于处理数据(诸如统计平均值,求和等)，并返回计算后的数据结果。有点类似sql语句中的 count(*)。

MongoDB中聚合的方法使用aggregate()。

语法格式：

  1 > db.COLLECTION_NAME.aggregate(AGGREGATE_OPERATION)
  2 [[email protected] ~]# mongo --host 172.24.9.225 --port 27017 -u useradmin -p useradmin
  3 > use mydb
  4 > db.age01.aggregate([$group: _id: "$tel", tel: $sum: 1])
  5  "_id" : "123456784", "tel" : 1 
  6  "_id" : "188888888", "tel" : 2 
  7  "_id" : "155555555", "tel" : 1 

 

提示：以上操作为统计所有各个tel的个数，类似select tel count(*) from age01 group by tel。

2.2 聚合表达式

表达式	描述	实例
$sum	计算总和。	db.mycol.aggregate([$group : _id : "$by_user", num_tutorial : $sum : "$likes"])
$avg	计算平均值	db.mycol.aggregate([$group : _id : "$by_user", num_tutorial : $avg : "$likes"])
$min	获取集合中所有文档对应值得最小值。	db.mycol.aggregate([$group : _id : "$by_user", num_tutorial : $min : "$likes"])
$max	获取集合中所有文档对应值得最大值。	db.mycol.aggregate([$group : _id : "$by_user", num_tutorial : $max : "$likes"])
$push	在结果文档中插入值到一个数组中。	db.mycol.aggregate([$group : _id : "$by_user", url : $push: "$url"])
$addToSet	在结果文档中插入值到一个数组中，但不创建副本。	db.mycol.aggregate([$group : _id : "$by_user", url : $addToSet : "$url"])
$first	根据资源文档的排序获取第一个文档数据。	db.mycol.aggregate([$group : _id : "$by_user", first_url : $first : "$url"])
$last	根据资源文档的排序获取最后一个文档数据	db.mycol.aggregate([$group : _id : "$by_user", last_url : $last : "$url"])

三 管道

3.1 管道的概念

管道在Unix和Linux中一般用于将当前命令的输出结果作为下一个命令的参数。

MongoDB的聚合管道将MongoDB文档在一个管道处理完毕后将结果传递给下一个管道处理。管道操作是可以重复的。

表达式：处理输入文档并输出。表达式是无状态的，只能用于计算当前聚合管道的文档，不能处理其它的文档。

聚合框架常用操作：

• $project：修改输入文档的结构。可以用来重命名、增加或删除域，也可以用于创建计算结果以及嵌套文档。
• $match：用于过滤数据，只输出符合条件的文档。$match使用MongoDB的标准查询操作。
• $limit：用来限制MongoDB聚合管道返回的文档数。
• $skip：在聚合管道中跳过指定数量的文档，并返回余下的文档。
• $unwind：将文档中的某一个数组类型字段拆分成多条，每条包含数组中的一个值。
• $group：将集合中的文档分组，可用于统计结果。
• $sort：将输入文档排序后输出。
• $geoNear：输出接近某一地理位置的有序文档。

  1 [[email protected] ~]# mongo --host 172.24.9.225 --port 27017 -u useradmin -p useradmin
  2 > use mydb
  3 > db.age01.aggregate($project: name: 1, tel: 1,).pretty()

 

提示：_id默认为输出，可通过_id: 0关闭_id的输出。

  1 > db.age01.aggregate([$match : age: $gt: ‘10‘, $lt: ‘20‘,$group: _id: null, count: $sum: 1])
  2  "_id" : null, "count" : 2 			#$match过滤出符合条件的数据，然后$group进行再次处理。

 

3.2 时间聚合

  1 db.getCollection(‘m_msg_tb‘).aggregate(
  2 [
  3     $match:m_id:10001,mark_time:$gt:new Date(2017,8,0),
  4     $group: 
  5        _id: $dayOfMonth:‘$mark_time‘,
  6         pv: $sum: 1
  7         
  8     ,
  9     $sort: "_id": 1
 10 ])

 

时间关键字如下：

• $dayOfYear: 返回该日期是这一年的第几天（全年 366 天）。
• $dayOfMonth: 返回该日期是这一个月的第几天（1到31）。
• $dayOfWeek: 返回的是这个周的星期几（1：星期日，7：星期六）。
• $year: 返回该日期的年份部分。
• $month： 返回该日期的月份部分（ 1 到 12）。
• $week： 返回该日期是所在年的第几个星期（ 0 到 53）。
• $hour： 返回该日期的小时部分。
• $minute: 返回该日期的分钟部分。
• $second: 返回该日期的秒部分（以0到59之间的数字形式返回日期的第二部分，但可以是60来计算闰秒）。
• $millisecond：返回该日期的毫秒部分（ 0 到 999）。
• $dateToString： $dateToString: format: , date: 。