将mongodb 数据指定字段导出，然后指定字段导入mysql 实例 及相关问题解决

Posted 2020-07-08

需求：将mongodb 数据指定字段导出，然后再指定字段导入mysql  表中

直接上图吧，

最后 会将遇到几个问题及解决方案贴出，以便遇到类似问题可以迅速解决（期间所用命令具体用法不在本文详解之内）

1. 将mongodb 数据指定字段导出，所用命令Mongoexport ，具体查阅官方文档；

导出指定二级字段 Mongodb 

/opt/mongodb/bin/mongoexport  --host yourip  --port yourport   -d app_form -c application_data  --csv  --out export2.csv  --fields   applicant.name,applicant.id_card_num,applicant.cell_phone_num,applicant.home_addr

2. 在mysql 机器上 rsync 传输过来，rysnc 用法就不讲了，带过

rsync -chavzP --stats [email protected]:/home/mongodata/export.csv   /data/mysql/

3.导入mysql,这里有两种情况，一种是导入全新的表，另一种则是导入已存在的表，但是需要指定该表具体字段

1. 新表：

2. LOAD DATA INFILE ‘/data/mysql/export2.csv‘  INTO TABLE temp_test  CHARACTER SET utf8  FIELDS TERMINATED BY ‘,‘ ENCLOSED BY ‘"‘;

1. 老表指定字段：

2. LOAD DATA INFILE ‘/data/mysql/export2.csv‘  INTO TABLE temp_test2  CHARACTER SET utf8mb4 FIELDS TERMINATED BY ‘,‘ ENCLOSED BY ‘"‘ (name,idcard,tellnumber, address);

结果验证：

导入成功；

4.疑难杂症1：mongo 导出时二级字段的正确导出方法

4.疑难杂症2：mysql导入时 ERROR 1366 (HY000): Incorrect string value: ‘\xF0\xA5\x8C\x93\xE5\x85...‘ for column ‘address‘ at row 45293 解决 方法

这个问题很难解决，一般是认为utf8mb4 所导致，具体原因看下面，需要修改表的默认字符集，并以指定utf8mb4 导入；

ALTER TABLE temp_test2  CONVERT TO CHARACTER SET utf8mb4 COLLATE utf8mb4_unicode_ci;  修改即可1

4.疑难杂症3：mongo 导入时ERROR 1262 (01000): Row 1066659 was truncated; it contained more data than there were input columns 解决方法，sql_mode 的问题，需要修改；

5.其他问题，比如主键重复，字段大小不满足要求，等等小问题自行琢磨解决

最后正常的结果显示：

百度内搜到的帖子能解决此类问题的很少，并且都不是完整的实例，这里贴出完整的整个操作实例，希望对大家有帮助；

本文出自 “linux-centos笔记” 博客，请务必保留此出处http://fuyuan2015.blog.51cto.com/8678344/1775054