MySQL数据导入到Mongo

Posted yuzjang

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了MySQL数据导入到Mongo相关的知识,希望对你有一定的参考价值。

背景:如题干所述,需要将一份数据导入到mongo数据库,减少项目依赖的数据源。

解决方案:

使用mongo自带的mongoimport工具。

首先在test库里创建一个空集合:【import_test】,起初用的导入指令如下:

[root@localhost mongodb]# ./bin/mongoimport --host 192.168.104.178:17017 -u adminuser -p 112233 --authenticationDatabase=admin  -d test -c import_test --fields=userid,serial,create_time --type csv -file csvToMongo.csv 
2018-06-11T18:47:07.075+0800    connected to: 192.168.104.178:17017
2018-06-11T18:47:07.083+0800    imported 15 documents

指令讲解:

  • --authenticationDatabase:测试集群使用了身份验证,需要在admin库里登陆后,才能操作
  • -d:集合所在的库
  • --fields:集合中的字段名

结果发现mongo的字段不能正常被创建,如下

 

只能换一种方式进行导入,后来发现将字段名称写到文件后,再导入就不会有问题,具体如下:

[root@localhost mongodb]# cat myfields.txt 
userid
serial
create_time

myfields文件中保存了这三个字段,每行一个,然后执行导入命令:

[root@localhost mongodb]# ./bin/mongoimport --host 192.168.104.178:17017 -u adminuser -p 112233 --authenticationDatabase=admin  -d test -c import_test --fieldFile myfields.txt --type csv --file csvToMongo.csv 
2018-06-11T18:58:06.894+0800    connected to: 192.168.104.178:17017
2018-06-11T18:58:06.903+0800    imported 15 documents

结果如下:

最后贴上测试用的csv数据:

[root@localhost mongodb]# cat csvToMongo.csv
1504165,1,2016-05-25 04:13:07
1504585,1,2016-05-25 04:13:07
1556423,1,2016-05-25 03:02:45
1557488,1,2016-06-30 06:51:11
1558460,1,2016-03-29 06:54:50
1508659,1,2016-05-25 05:10:15
1500073,1,2015-04-14 13:12:32
1505064,1,2016-07-01 03:51:34
1507204,1,2016-09-21 10:28:49
1506296,1,2015-09-25 04:43:57
1506765,1,2016-07-01 07:26:10
1506944,1,2016-06-30 09:36:38
1506162,1,2015-12-09 10:08:10
1506814,1,2015-12-09 13:57:07
1506014,1,2016-05-25 06:38:28

 注意:最后的最后,我终于知道为什么字段名不正常了,和mongo的指令无关,只是第一个指令最后一个参数写的有误,file前面只有一个横杠“-”,如果写两个横杠,也一样有正确的结果,哈哈哈

./bin/mongoimport --host 192.168.104.178:17017 -u adminuser -p 112233 --authenticationDatabase=admin  -d test -c import_test --fields=userid,serial,create_time --type csv --file csvToMongo.csv

 说完了。

补充一个json文件的导入指令

./bin/mongoimport --host 192.168.104.178:17017 -u adminuser -p 112233 --authenticationDatabase=admin --drop  -d test -c session_info --file jsonToMongo.json -j 10

 

-j,多线程跑,可以自定义
--drop,导入之前先清空表里所有数据

 

以上是关于MySQL数据导入到Mongo的主要内容,如果未能解决你的问题,请参考以下文章

mongo-connector导入数据到Es

如何使用mongo-connector将数据从mongodb导入到apache solr

将 mongo 导入到 Azure Cosmos 模拟器时出现问题

docker之mongo数据库备份导入

Elasticsearch+Mongo亿级别数据导入及查询实践

mongo