关于MongoDB数据库的总结

Posted 2022-02-10 lygiants

既然要说MongoDB数据库，先引入NoSQL的概念。

NoSQL:

NoSQL，指的是非关系型的数据库。NoSQL有时也称作Not Only SQL的缩写，是对不同于传统的关系型数据库的数据库管理系统的统称。

NoSQL用于超大规模数据的存储。（例如谷歌或Facebook每天为他们的用户收集万亿比特的数据）。这些类型的数据存储不需要固定的模式，无需多余操作就可以横向扩展。

为什么使用NoSQL ?

今天我们可以通过第三方平台（如：Google,Facebook等）可以很容易的访问和抓取数据。用户的个人信息，社交网络，地理位置，用户生成的数据和用户操作日志已经成倍的增加。我们如果要对这些用户数据进行挖掘，那SQL数据库已经不适合这些应用了, NoSQL数据库的发展也却能很好的处理这些大的数据。

什么是MongoDB ?

• MongoDB 是由C++语言编写的，是一个基于分布式文件存储的开源数据库系统。
• 在高负载的情况下，添加更多的节点，可以保证服务器性能。
• MongoDB 旨在为WEB应用提供可扩展的高性能数据存储解决方案。
• MongoDB 将数据存储为一个文档，数据结构由键值(key=>value)对组成。MongoDB 文档类似于 JSON 对象。字段值可以包含其他文档，数组及文档数组。
  

主要特点:

• MongoDB 是一个面向文档存储的数据库，操作起来比较简单和容易。

• 你可以在MongoDB记录中设置任何属性的索引 (如：FirstName="Sameer",Address="8 Gandhi Road")来实现更快的排序。

• 你可以通过本地或者网络创建数据镜像，这使得MongoDB有更强的扩展性。

• 如果负载的增加（需要更多的存储空间和更强的处理能力） ，它可以分布在计算机网络中的其他节点上这就是所谓的分片。

• Mongo支持丰富的查询表达式。查询指令使用JSON形式的标记，可轻易查询文档中内嵌的对象及数组。

• MongoDb 使用update()命令可以实现替换完成的文档（数据）或者一些指定的数据字段 。

• Mongodb中的Map/reduce主要是用来对数据进行批量处理和聚合操作。

• Map和Reduce。Map函数调用emit(key,value)遍历集合中所有的记录，将key与value传给Reduce函数进行处理。Map函数和Reduce函数是使用javascript编写的，并可以通过db.runCommand或mapreduce命令来执行MapReduce操作。

• GridFS是MongoDB中的一个内置功能，可以用于存放大量小文件。

• MongoDB允许在服务端执行脚本，可以用Javascript编写某个函数，直接在服务端执行，也可以把函数的定义存储在服务端，下次直接调用即可。

• MongoDB支持各种编程语言:RUBY，PYTHON，JAVA，C++，php，C#等多种语言。

• MongoDB安装简单。

语言支持

c	c++	C# / .NET
Erlang	Haskell	java
JavaScript	Lisp	node.JS
Perl	PHP	Python
Ruby	Scala

MongoDB 概念解析

不管我们学习什么数据库都应该学习其中的基础概念，在mongodb中基本的概念是文档、集合、数据库，下面我们挨个介绍。

• 下表将帮助您更容易理解Mongo中的一些概念：

SQL术语/概念	MongoDB术语/概念	解释/说明
database	database	数据库
table	collection	数据库表/集合
row	document	数据记录行/文档
column	field	数据字段/域
index	index	索引
table joins		表连接,MongoDB不支持
primary key	primary key	主键,MongoDB自动将_id字段设置为主键

数据库:

一个mongodb中可以建立多个数据库。

MongoDB的默认数据库为"db"，该数据库存储在data目录中。

MongoDB的单个实例可以容纳多个独立的数据库，每一个都有自己的集合和权限，不同的数据库也放置在不同的文件中。

"show dbs" 命令可以显示所有数据的列表。

执行 "db" 命令可以显示当前数据库对象或集合。

运行"use"命令，可以连接到一个指定的数据库。

数据库也通过名字来标识。数据库名可以是满足以下条件的任意UTF-8字符串。

• 不能是空字符串（"")。
• 不得含有‘ ‘（空格)、.、$、/、\和\0 (空字符)。
• 应全部小写。
• 最多64字节。

有一些数据库名是保留的，可以直接访问这些有特殊作用的数据库。

• admin： 从权限的角度来看，这是"root"数据库。要是将一个用户添加到这个数据库，这个用户自动继承所有数据库的权限。一些特定的服务器端命令也只能从这个数据库运行，比如列出所有的数据库或者关闭服务器。
• local: 这个数据永远不会被复制，可以用来存储限于本地单台服务器的任意集合
• config: 当Mongo用于分片设置时，config数据库在内部使用，用于保存分片的相关信息。

文档:

文档是一组键值(key-value)对(即BSON)。MongoDB 的文档不需要设置相同的字段，并且相同的字段不需要相同的数据类型，这与关系型数据库有很大的区别，也是 MongoDB 非常突出的特点。

"url":"https://www.baidu.com", "name":"百度"

RDBMS 与 MongoDB 对应的术语：
RDBMS| MongoDB
-|-
数据库| 数据库
表格 |集合
行 |文档
列 |字段
表联合| 嵌入文档
主键 |主键 (MongoDB 提供了 key 为 _id )

需要注意的是：

1. 文档中的键/值对是有序的。
2. 文档中的值不仅可以是在双引号里面的字符串，还可以是其他几种数据类型（甚至可以是整个嵌入的文档)。
3. MongoDB区分类型和大小写。
4. MongoDB的文档不能有重复的键。
5. 文档的键是字符串。除了少数例外情况，键可以使用任意UTF-8字符。

集合:

集合就是 MongoDB 文档组，类似于 RDBMS （关系数据库管理系统：Relational Database Management System)中的表格。

集合存在于数据库中，集合没有固定的结构，这意味着你在对集合可以插入不同格式和类型的数据，但通常情况下我们插入集合的数据都会有一定的关联性。

"site":"www.baidu.com"
"site":"www.google.com","name":"Google"
"site":"http://jikedaohang.com","name":"极客导航","num":5

• 当第一个文档插入时，集合就会被创建。

合法的集合名

• 集合名不能是空字符串""。
• 集合名不能含有\0字符（空字符)，这个字符表示集合名的结尾。
• 集合名不能以"system."开头，这是为系统集合保留的前缀。
• 用户创建的集合名字不能含有保留字符。有些驱动程序的确支持在集合名里面包含，这是因为某些系统生成的集合中包含该字符。除非你要访问这种系统创建的集合，否则千万不要在名字里出现$。　

元数据:

数据库的信息是存储在集合中。它们使用了系统的命名空间：

dbname.system.*

在MongoDB数据库中名字空间 .system.* 是包含多种系统信息的特殊集合(Collection)，如下:

集合命名空间	描述
dbname.system.namespaces	列出所有名字空间。
dbname.system.indexes	列出所有索引。
dbname.system.profile	包含数据库概要(profile)信息。
dbname.system.users	列出所有可访问数据库的用户。
dbname.local.sources	包含复制对端（slave）的服务器信息和状态。

对于修改系统集合中的对象有如下限制:

• 在system.indexes插入数据，可以创建索引。但除此之外该表信息是不可变的(特殊的drop index命令将自动更新相关信息)。
• system.users是可修改的。 system.profile是可删除的。

MongoDB 数据类型:

数据类型	描述
String	字符串。存储数据常用的数据类型。在 MongoDB 中，UTF-8 编码的字符串才是合法的。
Integer	整型数值。用于存储数值。根据你所采用的服务器，可分为 32 位或 64 位。
Boolean	布尔值。用于存储布尔值（真/假）。
Double	双精度浮点值。用于存储浮点值。
Min/Max keys	将一个值与 BSON（二进制的 JSON）元素的最低值和最高值相对比。
Array	用于将数组或列表或多个值存储为一个键。
Timestamp	时间戳。记录文档修改或添加的具体时间。
Object	用于内嵌文档。
Null	用于创建空值。
Symbol	符号。该数据类型基本上等同于字符串类型，但不同的是，它一般用于采用特殊符号类型的语言。
Date	日期时间。用 UNIX 时间格式来存储当前日期或时间。你可以指定自己的日期时间：创建 Date 对象，传入年月日信息。
Object ID	对象 ID。用于创建文档的 ID。
Binary Data	二进制数据。用于存储二进制数据。
Code	代码类型。用于在文档中存储 JavaScript 代码。
Regular expression	正则表达式类型。用于存储正则表达式。

ObjectId

ObjectId 类似唯一主键，可以很快的去生成和排序，包含 12 bytes，含义是：

• 前 4 个字节表示创建 unix 时间戳,格林尼治时间 UTC 时间，比北京时间晚了 8 个小时
• 接下来的 3 个字节是机器标识码
• 紧接的两个字节由进程 id 组成 PID
• 最后三个字节是随机数
  

MongoDB 创建数据库:

use DATABASE_NAME

• 如果数据库不存在，则创建数据库，否则切换到指定数据库。

MongoDB 中默认的数据库为 test，如果你没有创建新的数据库，集合将存放在 test 数据库中。

注意: 在 MongoDB 中，集合只有在内容插入后才会创建! 就是说，创建集合(数据表)后要再插入一个文档(记录)，集合才会真正创建。

MongoDB 删除数据库:

db.dropDatabase()

• 删除当前数据库，默认为 test，你可以使用 db 命令查看当前数据库名。

MongoDB 创建集合:

db.createCollection(name, options)

参数说明：

• name: 要创建的集合名称
• options: 可选参数, 指定有关内存大小及索引的选项

options 可以是如下参数：

字段	类型	描述
capped	布尔	（可选）如果为 true，则创建固定集合。固定集合是指有着固定大小的集合，当达到最大值时，它会自动覆盖最早的文档。当该值为 true 时，必须指定 size 参数。
autoIndexId	布尔	（可选）如为 true，自动在 _id 字段创建索引。默认为 false。
size	数值	（可选）为固定集合指定一个最大值（以字节计）。如果 capped 为 true，也需要指定该字段。
max	数值	（可选）指定固定集合中包含文档的最大数量。

在插入文档时，MongoDB 首先检查固定集合的 size 字段，然后检查 max 字段。

在 test 数据库中创建 runoob 集合：

> use test
switched to db test
> db.createCollection("runoob")
 "ok" : 1 

如果要查看已有集合，可以使用 show collections 命令：

> show collections
runoob
system.indexes

MongoDB 删除集合:

db.collection.drop()

MongoDB 插入文档:

MongoDB 使用 insert() 或 save() 方法向集合中插入文档，语法如下：

db.COLLECTION_NAME.insert(document)

db.col.insert('title': '斯巴达克斯1',
        'actors': '未知',
        'type': '动作',
        '简介': '古罗马传记')

MongoDB 更新文档:

• MongoDB 使用 update() 和 save() 方法来更新集合中的文档。

update() 方法用于更新已存在的文档。
我们在集合 col 中插入如下数据：

>db.col.insert(
    title: 'MongoDB 教程', 
    description: 'MongoDB 是一个 Nosql 数据库',
    url: 'http://www.runoob.com',
    tags: ['mongodb', 'database', 'NoSQL'],
    likes: 100
)

接着我们通过 update() 方法来更新标题(title):

>db.col.update('title':'MongoDB 教程',$set:'title':'MongoDB')
WriteResult( "nMatched" : 1, "nUpserted" : 0, "nModified" : 1 )   # 输出信息
> db.col.find().pretty()

        "_id" : ObjectId("56064f89ade2f21f36b03136"),
        "title" : "MongoDB",
        "description" : "MongoDB 是一个 Nosql 数据库",
        "url" : "http://www.runoob.com",
        "tags" : [
                "mongodb",
                "database",
                "NoSQL"
        ],
        "likes" : 100

>

• 以上语句只会修改第一条发现的文档，如果你要修改多条相同的文档，则需要设置 multi 参数为 true。

save() 方法通过传入的文档来替换已有文档:

db.collection.save(
   <document>,
   
     writeConcern: <document>
   
)

MongoDB 删除文档:

MongoDB remove()函数是用来移除集合中的数据。
MongoDB数据更新可以使用update()函数。在执行remove()函数前先执行find()命令来判断执行的条件是否正确，这是一个比较好的习惯。

如删除集合下全部文档：
db.inventory.deleteMany()

删除 status 等于 A 的全部文档：
db.inventory.deleteMany( status : "A" )

删除 status 等于 D 的一个文档：
db.inventory.deleteOne(  status: "D"  )    

MongoDB 查询文档:

MongoDB 查询文档使用 find() 方法。

find() 方法以非结构化的方式来显示所有文档。

db.collection.find(query, projection)

如果你需要以易读的方式来读取数据，可以使用 pretty() 方法:

db.col.find().pretty()

除了 find() 方法之外，还有一个 findOne() 方法，它只返回一个文档。

MongoDB 与 RDBMS Where 语句比较

操作	格式	范例	RDBMS中的类似语句
等于	:	db.col.find("by":"菜鸟教程").pretty()	where by = ‘菜鸟教程‘
小于	:$lt:	db.col.find("likes":$lt:50).pretty()	where likes < 50
小于或等于	:$lte:	db.col.find("likes":$lte:50).pretty()	where likes <= 50
大于	:$gt:	db.col.find("likes":$gt:50).pretty()	where likes > 50
大于或等于	:$gte:	db.col.find("likes":$gte:50).pretty()	where likes >= 50
不等于	:$ne:	db.col.find("likes":$ne:50).pretty()	where likes != 50

MongoDB 条件操作符:

条件操作符用于比较两个表达式并从mongoDB集合中获取数据。

MongoDB中条件操作符有：

• (>) 大于 - $gt
• (<) 小于 - $lt
• (>=) 大于等于 - $gte
• (<= ) 小于等于 - $lte

MongoDB $type 操作符:

$type操作符是基于BSON类型来检索集合中匹配的数据类型，并返回结果。

MongoDB 中可以使用的类型如下表所示：

类型	数字	备注
Double	1	空
String	2	空
Object	3	空
Array	4	空
Binary data	5	空
Undefined	6	已废弃。
Object id	7	空
Boolean	8	空
Date	9	空
Null	10	空
Regular Expression	11
JavaScript	13	空
Symbol	14	空
JavaScript (with scope)	15
32-bit integer	16	空
Timestamp	17	空
64-bit integer	18	空
Min key	255	Query with -1.
Max key	127	空

MongoDB Limit与Skip方法:

如果你需要在MongoDB中读取指定数量的数据记录，可以使用MongoDB的Limit方法，limit()方法接受一个数字参数，该参数指定从MongoDB中读取的记录条数。

>db.COLLECTION_NAME.find().limit(NUMBER)

我们除了可以使用limit()方法来读取指定数量的数据外，还可以使用skip()方法来跳过指定数量的数据，skip方法同样接受一个数字参数作为跳过的记录条数。

>db.COLLECTION_NAME.find().limit(NUMBER).skip(NUMBER)

MongoDB sort() 方法:

在 MongoDB 中使用 sort() 方法对数据进行排序，sort() 方法可以通过参数指定排序的字段，并使用 1 和 -1 来指定排序的方式，其中 1 为升序排列，而 -1 是用于降序排列。

>db.COLLECTION_NAME.find().sort(KEY:1)

ngjie

niu***[email protected]

skip(), limilt(), sort()三个放在一起执行的时候，执行的顺序是先 sort(), 然后是 skip()，最后是显示的 limit()。

MongoDB 索引

索引通常能够极大的提高查询的效率，如果没有索引，MongoDB在读取数据时必须扫描集合中的每个文件并选取那些符合查询条件的记录。

这种扫描全集合的查询效率是非常低的，特别在处理大量的数据时，查询可以要花费几十秒甚至几分钟，这对网站的性能是非常致命的。

索引是特殊的数据结构，索引存储在一个易于遍历读取的数据集合中，索引是对数据库表中一列或多列的值进行排序的一种结构

>db.collection.createIndex(keys, options)

在后台创建索引：
db.values.createIndex(open: 1, close: 1, background: true)

1、查看集合索引
db.col.getIndexes()

2、查看集合索引大小
db.col.totalIndexSize()

3、删除集合所有索引
db.col.dropIndexes()

4、删除集合指定索引
db.col.dropIndex("索引名称")

MongoDB 聚合:

MongoDB中聚合(aggregate)主要用于处理数据(诸如统计平均值,求和等)，> 并返回计算后的数据结果。有点类似sql语句中的 count(*)。

aggregate() 方法

> db.mycol.aggregate([$group : _id : "$by_user", num_tutorial : $sum : 1])

一些聚合的表达式:

表达式	描述	实例
$sum	计算总和。	db.mycol.aggregate([$group : _id : "$by_user", num_tutorial : $sum : "$likes"])
$avg	计算平均值	db.mycol.aggregate([$group : _id : "$by_user", num_tutorial : $avg : "$likes"])
$min	获取集合中所有文档对应值得最小值。	db.mycol.aggregate([$group : _id : "$by_user", num_tutorial : $min : "$likes"])
$max	获取集合中所有文档对应值得最大值。	db.mycol.aggregate([$group : _id : "$by_user", num_tutorial : $max : "$likes"])
$push	在结果文档中插入值到一个数组中。	db.mycol.aggregate([$group : _id : "$by_user", url : $push: "$url"])
$addToSet	在结果文档中插入值到一个数组中，但不创建副本。	db.mycol.aggregate([$group : _id : "$by_user", url : $addToSet : "$url"])
$first	根据资源文档的排序获取第一个文档数据。	db.mycol.aggregate([$group : _id : "$by_user", first_url : $first : "$url"])
$last	根据资源文档的排序获取最后一个文档数据	db.mycol.aggregate([$group : _id : "$by_user", last_url : $last : "$url"])

管道的概念

管道在Unix和Linux中一般用于将当前命令的输出结果作为下一个命令的参数。

MongoDB的聚合管道将MongoDB文档在一个管道处理完毕后将结果传递给下一个管道处理。管道操作是可以重复的。

表达式：处理输入文档并输出。表达式是无状态的，只能用于计算当前聚合管道的文档，不能处理其它的文档。

表达式	操作
$project：	修改输入文档的结构。可以用来重命名、增加或删除域，也可以用于创建计算结果以及嵌套文档。
$match：	用于过滤数据，只输出符合条件的文档。$match使用MongoDB的标准查询操作。
$limit：	用来限制MongoDB聚合管道返回的文档数。
$skip：	在聚合管道中跳过指定数量的文档，并返回余下的文档。
$unwind：	将文档中的某一个数组类型字段拆分成多条，每条包含数组中的一个值。
$group：	将集合中的文档分组，可用于统计结果。
$sort：	将输入文档排序后输出。
$geoNear：	输出接近某一地理位置的有序文档。

MongoDB 备份(mongodump)与恢复(mongorestore)

MongoDB数据备份

• 在Mongodb中我们使用mongodump命令来备份MongoDB数据。该命令可以导出所有数据到指定目录中。

>mongodump -h dbhost -d dbname -o dbdirectory

• -h：
  MongDB所在服务器地址，例如：127.0.0.1，当然也可以指定端口号：127.0.0.1:27017

• -d：
  需要备份的数据库实例，例如：test

• -o：
  备份的数据存放位置，例如：c:\data\dump，当然该目录需要提前建立，在备份完成后，系统自动在dump目录下建立一个test目录，这个目录里面存放该数据库实例的备份数据。

MongoDB数据恢复

• mongodb使用 mongorestore 命令来恢复备份的数据。

>mongorestore -h <hostname><:port> -d dbname <path>

• --host <:port>, -h <:port>：
  MongoDB所在服务器地址，默认为： localhost:27017

• --db , -d ：
  需要恢复的数据库实例，例如：test，当然这个名称也可以和备份时候的不一样，比如test2

• --drop：
  恢复的时候，先删除当前数据，然后恢复备份的数据。就是说，恢复后，备份后添加修改的数据都会被删除，慎用哦！

• ：
  mongorestore 最后的一个参数，设置备份数据所在位置，例如：c:\data\dump\test。 你不能同时指定 和 --dir 选项，--dir也可以设置备份目录。

• --dir：
  指定备份的目录 你不能同时指定 和 --dir 选项。