干货|了解MongoDB数据库
Posted AI遇见机器学习
tags:
篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了干货|了解MongoDB数据库相关的知识，希望对你有一定的参考价值。
原创干货，第一时间送达
在数据相关业务中，数据库往往是提升数据处理效率的重要手段，这次我们简单的介绍一种非关系型数据库，MongoDB，这个数据库的学习难度相较其它类型的数据库会比较低，上手速度快，并且它的shell支持JS语法，与Python有不少相似的地方。
一、MongoDB简介
Mongodb，分布式文档存储数据库，由C++ 语言编写，旨在为WEB应用提供可扩展的高性能数据存储解决方案。MongoDB是一个高性能，开源，无模式的文档型数据库，是当前NoSql数据库中比较热门的一种。它在许多场景下可用于替代传统的关系型数据库或键/值存储方式。Mongo使用C++开发。
与关系型数据库sql相比，非关系型数据库以键值对作为存储方式（类似于json），结构不像关系型数据库中的字段一样稳定。例如同样是存储字段班级 姓名 学号，关系型数据库通过组建一个包含该类字段所有类别的表，在表下的所有数据行都拥有班级 姓名 学号，但非关系型数据库仅将其作为一个键值对的一条信息存储在一个文档中，该文档并不需要确保它所包含的每一条信息都拥有班级 姓名 学号，可以只有其中一或两个亦或是其它不同的类型。而MongoDB就是一种非关系型数据库，它的优点就在于相比sql，用户的访问速度更快，获取数据的方式更加便携。
从该图可以更加清楚地看到sql与MongoDB的区别，其存储数据的形式，类似于Python中dict类型存储数据的方式。
二、MongoDB的环境配置
例如我们创建的目录路径为：
D:\study\Mongo DB\data\db创建完成后用命令行执行MongoDB目录bin目录下的mongod.exe文件，如果没有问题，就可以看到如下输出信息:
2015-09-25T15:54:09.212+0800 I CONTROL Hotfix KB2731284 or later update is not
installed, will zero-out data files
2015-09-25T15:54:09.229+0800 I JOURNAL [initandlisten] journal dir=c:\data\db\j
ournal
2015-09-25T15:54:09.237+0800 I JOURNAL [initandlisten] recover : no journal fil
es present, no recovery needed
2015-09-25T15:54:09.290+0800 I JOURNAL [durability] Durability thread started
2015-09-25T15:54:09.294+0800 I CONTROL [initandlisten] MongoDB starting : pid=2
488 port=27017 dbpath=c:\data\db 64-bit host=WIN-1VONBJOCE88
2015-09-25T15:54:09.296+0800 I CONTROL [initandlisten] targetMinOS: Windows 7/W
indows Server 2008 R2
2015-09-25T15:54:09.298+0800 I CONTROL [initandlisten] db version v3.0.6| a.将MongoDB作为Windows服务运行
对于Windows用户，MongoDB可以有两种启动方式，一种是添加进服务进程，系统后台运行，用命令行启动，另一种是自己先用一个命令行窗口启动服务进程，然后再用另一个命令行窗口连接服务端口启动，不过熟悉Windows系统的pong友们应该都很清楚。
我们可以用管理权限打开cmd，然后执行以下命令将MongoDB添加为Windows服务
mongod.exe --bind_ip yourIPadress --logpath "C:\data\dbConf\mongodb.log" --logappend --dbpath "C:\data\db" --port yourPortNumber --serviceName "YourServiceName" --serviceDisplayName "YourServiceName" --install初次设定完成后，将MongoDB目录下的bin文件夹里面的内容添加进环境变量，（例如我的是D:\mongodb\bin），然后我们便可以用管理员cmd执行net start MongoDB来启动服务，或者用services.msc找到MongoDB的服务手动启动
> net start MongoDB
MongoDB 服务正在启动 .
MongoDB 服务已经启动成功。| b.MongoDB后台管理shell
shell指“提供用户使用界面”的软件。 要进入MongoDB的后台管理，我们需要先打开MongoDB安装目录下的bin目录，然后执行mongo.exe文件，这里的MongoDBShell指的是MongoDB自带的交互式javascript shell，是用来对MongoDB进行MongoDB进行操作和管理的交互式环境。
在cmd输入mongo便可以启动MongoDB：
> mongo
MongoDB shell version v3.4.6
connecting to: mongodb://127.0.0.1:27017
MongoDB server version: 3.4.6
Welcome to the MongoDB shell.三、MongoDB的相关概念
要了解MongoDB，我们需要先了解MongoDB中的一些相关概念，为了方便理解，我们先将MongoDB中的术语与sql的常用术语做一个相关对比：
| SQL术语/概念 | MongoDb术语/概念 | 解释 （SQL/MongoDB） |
|---|---|---|
| database | database | 数据库 |
| table | collection | 数据库表/集合 |
| row | document | 数据记录行/文档 |
| column | field | 数据字段/域 |
| index | index | 索引 |
| table joins | 表连接,MongoDB不支持 | |
| primary key | primary key | 主键,MongoDB自动将_id字段设置为主键 |
| mysqld | mongod | 数据库服务 |
| mysql | mongo | 客户端 |
| a.数据库
一个mongodb中可以建立多个数据库。 MongoDB的默认数据库为“db”，该数据库存储在data目录中。 MongoDB的单个实例可以容纳多个独立的数据库，每一个都有自己的集合和权限，不同的数据库也放置在不同的文件中。
我们可以用“show dbs”命令显示所有数据的列表
> show dbs
admin 0.000GB
local 0.000GB
test 0.000GB执行“db”命令以显示当前数据库对象和集合
> db
test运行“use”命令可以连接到一个指定的数据库
> use local
switched to db local不仅是对于存在的数据库，对于不存在的数据库我们也可以使用use命令，这个时候，MongoDB会根据情况自动创建对应的数据库：
> show dbs
admin 0.000GB
local 0.000GB
test 0.000GB
> use zyzy
switched to db zyzy若是要删除数据库，则在切换到对应数据库后，使用db.Dropdatabase()命令，即可删除：
> use zyzy
switched to db zyzy
> db.dropDatabase()
{ "ok" : 1 }
> show dbs
admin 0.000GB
local 0.000GB
test 0.000GB数据库也通过名字来标识。数据库名可以是满足以下条件的任意UTF-8字符串。
不能是空字符串（””)。
不得含有’ ‘（空格)、.、$、/、\和\0 (空字符)。
应全部小写。
最多64字节。
有一些数据库名称是保留的，这些数据库有特殊的作用，允许直接访问。
admin：权限上类似于”root”数据库。当我们将一个用户添加到这个数据库的时候，这个用户将会自动继承所有数据库的权限。一些特定的服务器端的命令也只能从该数据库运行。
local
config
| b.文档
文档是一组键值（key-value）对。MongoDB的文档不需要设置相同的字段，并且相同的字段不需要相同的数据类型，这与关系型数据库有很大的区别。 一个简单的文档例子如下：
{"url":"www.baidu.com","name":"baidu"}可以发现，与python中的dict类型很像，这是被称为json的数据格式。
文档有以下几个特点：
文档中的键值对是有序的
文档中的值的类型不仅可以是包裹在双引号内的字符串，还可以是其它的类型（甚至是整个嵌入的文档）
MongoDB区分类型和大小写
MongoDB的文档中不能够有重复的键
文档的键的类型是字符串。除了少数例外情况，键可以使用任意UTF-8字符
文档键的命名规范：
键不能含有\0 (空字符)。这个字符用来表示键的结尾。
.和$有特别的意义，只有在特定环境下才能使用。
以下划线”_“开头的键是保留的(不是严格要求的)。
| c.集合
集合就是一组MongoDB文档，类似于关系型数据库中的表格。 集合存在于数据库中，集合没有固定的结构，这意味着我们可以对集合插入不同类型和格式的数据，但通常情况下，同一集合内包含的数据总是有关联的。 不同的数据结构可以被放在同一个集合内：
{"class":"1"}
{"class":"2","number":"1"}
{"name":"gg"}合法的集合名：
集合名不能是空字符串”“。
集合名不能含有\0字符（空字符)，这个字符表示集合名的结尾。
集合名不能以”system.”开头，这是为系统集合保留的前缀。
用户创建的集合名字不能含有保留字符。有些驱动程序的确支持在集合名里面包含，这是因为某些系统生成的集合中包含该字符。除非你要访问这种系统创建的集合，否则千万不要在名字里出现$。
| d.MongoDB中的数据类型
以下为MongoDB中常用的数据类型：
| 数据类型 | 描述 |
|---|---|
| String | 字符串。存储数据常用的数据类型。在 MongoDB 中，UTF-8 编码的字符串才是合法的。 |
| Integer | 整型数值。用于存储数值。根据你所采用的服务器，可分为 32 位或 64 位。 |
| Boolean | 布尔值。用于存储布尔值（真/假）。 |
| Double | 双精度浮点值。用于存储浮点值。 |
| Min/Max keys | 将一个值与 BSON（二进制的 JSON）元素的最低值和最高值相对比。 |
| Arrays | 用于将数组或列表或多个值存储为一个键。 |
| Timestamp | 时间戳。记录文档修改或添加的具体时间。 |
| Object | 用于内嵌文档。 |
| Null | 用于创建空值。 |
| Symbol | 符号。该数据类型基本上等同于字符串类型，但不同的是，它一般用于采用特殊符号类型的语言。 |
| Date | 日期时间。用 UNIX 时间格式来存储当前日期或时间。你可以指定自己的日期时间：创建 Date 对象，传入年月日信息。 |
| Object ID | 对象 ID。用于创建文档的 ID。 |
| Binary Data | 二进制数据。用于存储二进制数据。 |
| Code | 代码类型。用于在文档中存储 JavaScript 代码。 |
| Regular expression | 正则表达式类型。用于存储正则表达式。 |
四、简单使用MongoDB操作数据
| a.插入数据
要在MongoDB中的数据库中插入一个集合，使用db.collectionname.insert(<json>):
> db.zyzy_collection.insert({x:1})
WriteResult({ "nInserted" : 1 })
> show dbs
admin 0.000GB
local 0.000GB
test 0.000GB
zyzy 0.000GB
> show collections
zyzy_collection< json >表示往集合插入的文档内容，这个内容的输入形式类似于json。
MongoDB支持java script语法，因此，我们可以使用一些相应语法来插入多条数据
> for(i=0;i<10;i++)db.asd.insert({x:i})
WriteResult({ "nInserted" : 1 })
> db.asd.find()
{ "_id" : ObjectId("5961021cd4fd4ce8ff6ca118"), "x" : 0 }
{ "_id" : ObjectId("5961021cd4fd4ce8ff6ca119"), "x" : 1 }
{ "_id" : ObjectId("5961021cd4fd4ce8ff6ca11a"), "x" : 2 }
{ "_id" : ObjectId("5961021cd4fd4ce8ff6ca11b"), "x" : 3 }
{ "_id" : ObjectId("5961021cd4fd4ce8ff6ca11c"), "x" : 4 }
{ "_id" : ObjectId("5961021cd4fd4ce8ff6ca11d"), "x" : 5 }
{ "_id" : ObjectId("5961021cd4fd4ce8ff6ca11e"), "x" : 6 }
{ "_id" : ObjectId("5961021cd4fd4ce8ff6ca11f"), "x" : 7 }
{ "_id" : ObjectId("5961021cd4fd4ce8ff6ca120"), "x" : 8 }
{ "_id" : ObjectId("5961021cd4fd4ce8ff6ca121"), "x" : 9 }另外，还有insertMany()方法，通过接收一个数组来添加多个文档。
| b.查找数据
除了上面使用过的show collectins或者show tables可以同时查找所有数据库中的集合，还有命令db.collectionname.find(<json>)可以查找对应数据库下的集合：
> db.zyzy_collection.find()
{ "_id" : ObjectId("5960f85ed4fd4ce8ff6ca115"), "x" : 1 }find()中的括号为空时，表示查找所有该数据库下的集合。 我们可以发现，集合中除了"x":1这条我们初始化的信息内容之外，还有一条"_id",这条信息不是由我们定义的，它是一个在全集合范围内不会重复的字段，用以标记该文档，它还可以由我们自行定义：
> db.asd.insert({x:1})
WriteResult({ "nInserted" : 1 })
> show collections
asd
zyzy_collection
> db.asd.insert({x:2,_id:1})
WriteResult({ "nInserted" : 1 })
> db.zyzy_collection.insert({x:3,_id:1})
WriteResult({ "nInserted" : 1 })
> db.zyzy_collection.insert({x:4,_id:1})
WriteResult({
"nInserted" : 0,
"writeError" : {
"code" : 11000,
"errmsg" : "E11000 duplicate key error collection: zyzy.zyzy_collection index: _id_ dup key: { : 1.0 }"
}
})
> db.asd.find()
{ "_id" : ObjectId("5960ff1ed4fd4ce8ff6ca117"), "x" : 1 }
{ "_id" : 1, "x" : 2 }
> db.zyzy_collection.find()
{ "_id" : ObjectId("5960f85ed4fd4ce8ff6ca115"), "x" : 1 }
{ "_id" : ObjectId("5960f95dd4fd4ce8ff6ca116"), "x" : 1, "y" : 1 }
{ "_id" : 1, "x" : 3 }可以发现，数据库asd和zyzy_collection中可以同时存在"_id"为1的文档，但是当我们在zyzy_colleciotn中创建第二个"_id"为1的文档的时候会弹出错误信息（"nInserted":0）
当我们需要查找特定的文档时，就可以在find()中的括号内写上查找的条件，同样也是json格式：
> db.zyzy_collection.find({x:1})
{ "_id" : ObjectId("5960f85ed4fd4ce8ff6ca115"), "x" : 1 }
{ "_id" : ObjectId("5960f95dd4fd4ce8ff6ca116"), "x" : 1, "y" : 1 }如上，找到所有包含"x":1的信息。
find()还有一些特殊的方法，例如count()可以对集合中的文档数量进行计数：
> db.asd.find().count()
2命令skip()表示查找时跳过的文档数：
> for(i=0;i<100;i++)db.asd.insert({x:i})
WriteResult({ "nInserted" : 1 })
> db.asd.find()
{ "_id" : ObjectId("5960ff1ed4fd4ce8ff6ca117"), "x" : 1 }
{ "_id" : 1, "x" : 2 }
{ "_id" : ObjectId("596103dcd4fd4ce8ff6ca124"), "x" : 0 }
{ "_id" : ObjectId("596103dcd4fd4ce8ff6ca125"), "x" : 1 }
{ "_id" : ObjectId("596103dcd4fd4ce8ff6ca126"), "x" : 2 }
{ "_id" : ObjectId("596103dcd4fd4ce8ff6ca127"), "x" : 3 }
{ "_id" : ObjectId("596103dcd4fd4ce8ff6ca128"), "x" : 4 }
...
> db.asd.find().skip(3)
{ "_id" : ObjectId("596103dcd4fd4ce8ff6ca125"), "x" : 1 }
{ "_id" : ObjectId("596103dcd4fd4ce8ff6ca126"), "x" : 2 }
{ "_id" : ObjectId("596103dcd4fd4ce8ff6ca127"), "x" : 3 }
{ "_id" : ObjectId("596103dcd4fd4ce8ff6ca128"), "x" : 4 }
{ "_id" : ObjectId("596103dcd4fd4ce8ff6ca129"), "x" : 5 }
{ "_id" : ObjectId("596103dcd4fd4ce8ff6ca12a"), "x" : 6 }
{ "_id" : ObjectId("596103dcd4fd4ce8ff6ca12b"), "x" : 7 }显然，查找结果跳过了前面三条文档。
命令limit()用于表示最多显示的文档数：
> db.asd.find().limit(4)
{ "_id" : ObjectId("5960ff1ed4fd4ce8ff6ca117"), "x" : 1 }
{ "_id" : 1, "x" : 2 }
{ "_id" : ObjectId("596103dcd4fd4ce8ff6ca124"), "x" : 0 }
{ "_id" : ObjectId("596103dcd4fd4ce8ff6ca125"), "x" : 1 }命令sort(KEY：<1 or -1>)用于对查找结果进行排序：
> db.asd.find().sort({x:1}).limit(4)
{ "_id" : ObjectId("596103dcd4fd4ce8ff6ca124"), "x" : 0 }
{ "_id" : ObjectId("5960ff1ed4fd4ce8ff6ca117"), "x" : 1 }
{ "_id" : ObjectId("596103dcd4fd4ce8ff6ca125"), "x" : 1 }
{ "_id" : 1, "x" : 2 }
> db.asd.find().sort({x:-1}).limit(4)
{ "_id" : ObjectId("596103dcd4fd4ce8ff6ca187"), "x" : 99 }
{ "_id" : ObjectId("596103dcd4fd4ce8ff6ca186"), "x" : 98 }
{ "_id" : ObjectId("596103dcd4fd4ce8ff6ca185"), "x" : 97 }
{ "_id" : ObjectId("596103dcd4fd4ce8ff6ca184"), "x" : 96 }find的一些常用的方法记录在下表：
| 方法 | 功能 |
|---|---|
| count（） | 对查找结果进行计数 |
| skip（NUMBER） | 查找时跳过NUMBER个文档 |
| limit（NUMBER） | 仅查找前NUMBER个结果 |
| sort（KEY：<1 or -1>） | 对查找结果按照键KEY进行排序，1表示升序，-1表示降序 |
| pretty（） | 以易读的方式来读取数据 |
将find()改为findOne()可以只查找一条文档。
一些特殊的操作符允许我们对文档执行一定条件的查找：
例如，要查找某个键中小于某个数的值，我们使用{KEY:{$lt:<value>}}:
> for(i=0;i<100;i++)db.test_collection.insert({x:i})
WriteResult({ "nInserted" : 1 })
> db.test_collection.find({x:{$lt:30}})
{ "_id" : ObjectId("5961bd0f540435d89b5c5ed1"), "x" : 0 }
{ "_id" : ObjectId("5961bd0f540435d89b5c5ed2"), "x" : 1 }
{ "_id" : ObjectId("5961bd0f540435d89b5c5ed3"), "x" : 2 }
{ "_id" : ObjectId("5961bd0f540435d89b5c5ed4"), "x" : 3 }小于或等于使用{KEY ：{$lte:<value>}}，更多方法可以参考下表：
| 操作 | 格式 |
|---|---|
| 小于 | {<key>:{$lt:<value>}} |
| 小于或等于 | {{<key>:{$lte:<value>}} |
| 大于 | {<key>:{$gt:<value>}} |
| 大于或等于 | {<key>:{$gte:<value>}} |
| 不等于 | {<key>:{$ne:<value>}} |
find({key1:value1, key2:value2})括号内支持多个查找条件，只需要在括号用逗号将不同的查找条件隔开：
> db.test_collection.insert({x:1,y:1,z:1})
WriteResult({ "nInserted" : 1 })
> db.test_collection.find({x:1,y:1})
{ "_id" : ObjectId("5961bec3540435d89b5c5f35"), "x" : 1, "y" : 1, "z" : 1 }MongoDB还提供关键字$or来使用条件或的查找方式：
> db.test_collection.find({x:1})
{ "_id" : ObjectId("5961bd0f540435d89b5c5ed2"), "x" : 1 }
{ "_id" : ObjectId("5961bec3540435d89b5c5f35"), "x" : 1, "y" : 1, "z" : 1 }
{ "_id" : ObjectId("5961bf8d540435d89b5c5f36"), "x" : 1, "y" : 2, "z" : 1 }
{ "_id" : ObjectId("5961bf93540435d89b5c5f37"), "x" : 1, "y" : 2, "z" : 3 }
> db.test_collection.find({x:1,$or:[{y:1},{z:3}]})
{ "_id" : ObjectId("5961bec3540435d89b5c5f35"), "x" : 1, "y" : 1, "z" : 1 }
{ "_id" : ObjectId("5961c01b540435d89b5c5f39"), "x" : 1, "y" : 2, "z" : 3 }上例表示查找同时包含x:1且包含y:1或者z:3的文档
而有时候我们又需要根据数据类型来查找相应的数据，这个时候我们就需要用到$type操作符。$type操作符基于BSON类型来检索集合中匹配的类型，并返回结果。
例如，我们想获取集合中“x”的值为数字类型的文档：
> db.test_collection.insert({x:1})
WriteResult({ "nInserted" : 1 })
> db.test_collection.insert({x:"asd"})
WriteResult({ "nInserted" : 1 })
> db.test_collection.find({x:{$type:1}})
{ "_id" : ObjectId("5961e906e12ea99cbdc056a1"), "x" : 1 }
> db.test_collection.find({x:{$type:"double"}})
{ "_id" : ObjectId("5961e906e12ea99cbdc056a1"), "x" : 1 }MongoDB中支持的类型如下表：
| 类型 | 数字 | 备注 |
|---|---|---|
| Double | 1 | |
| String | 2 | |
| Object | 3 | |
| Array | 4 | |
| Binary data | 5 | |
| Undefined | 6 | 已废弃。 |
| Object id | 7 | |
| Boolean | 8 | |
| Date | 9 | |
| Null | 10 | |
| Regular Expression | 11 | |
| JavaScript | 13 | |
| Symbol | 14 | |
| JavaScript (with scope) | 15 | |
| 32-bit integer | 16 | |
| Timestamp | 17 | |
| 64-bit integer | 18 | |
| Min key | 255 | Query with -1. |
| Max key | 127 |
MongoDB还支持我们对一项数据是否存在的结果进行查找，通过$exists命令符：
> db.test_collection.insertMany(
... [
... {x:1},{y:1}
... ]
... )
> db.test_collection.find({x:{$exists:true}})
{ "_id" : ObjectId("59623f322c1607a4c93adc40"), "x" : 1 }发现仅查找到拥有x关键字的文档。
这次我们就先介绍到这里，下次我们补充关于修改数据，删除数据的内容，以及通过Python调用MongoDB的方法。
以上是关于干货|了解MongoDB数据库的主要内容，如果未能解决你的问题，请参考以下文章