linux中sqoop实现hive数据导入到mysql

Posted 2021-06-19 hellodev

上一篇文章我们简单的介绍《 linux中sqoop实现hive数据导入到mysql》，本文将简单介绍如何通过sqoop把hive数据导入到mysql。
一. 前期准备

实践本文内容，默认您已经安装和部署了hadoop,mysql,hive,sqoop等环境。如相关安装和部署有问题，可以参考《 linux中sqoop实现hive数据导入到mysql》。
二. sqoop实现hdfs文件导出
2.1 hive中插入数据

insert into hivetest.t_user values(7,\'dlm666\',\'dlm6\'),(8,\'dlm777\',\'dlm7\');
select * from hivetest.t_user;

2.2 全表导出

sqoop export --connect jdbc:mysql://192.168.32.128:3306/hive --username root --password root --table t_user --export-dir /usr/hive/warehouse/hivetest.t_user --input-fields-terminated-by \'\\001\'

 

2.3 表部分字段导出

如果只需要导出id和name，可以设置参数--colums "id,name"

sqoop export --connect jdbc:mysql://192.168.32.128:3306/hive --username root --password root --table t_user --columns "id,name" --export-dir /usr/hive/warehouse/hivetest.t_user --input-fields-terminated-by \'\\001\'

三. 异常坑处理
3.1 解析分隔符异常

Error: java.io.IOException: Can\'t export data, please check failed map task logs
at org.apache.sqoop.mapreduce.TextExportMapper.map(TextExportMapper.java:112)
at org.apache.sqoop.mapreduce.TextExportMapper.map(TextExportMapper.java:39)
at org.apache.hadoop.mapreduce.Mapper.run(Mapper.java:145)
at org.apache.sqoop.mapreduce.AutoProgressMapper.run(AutoProgressMapper.java:64)
at org.apache.hadoop.mapred.MapTask.runNewMapper(MapTask.java:784)
at org.apache.hadoop.mapred.MapTask.run(MapTask.java:341)
at org.apache.hadoop.mapred.YarnChild$2.run(YarnChild.java:163)
at java.security.AccessController.doPrivileged(Native Method)
at javax.security.auth.Subject.doAs(Subject.java:415)
at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1692)
at org.apache.hadoop.mapred.YarnChild.main(YarnChild.java:158)
Caused by: java.lang.RuntimeException: Can\'t parse input data: \'4dlm222dlm222\'
at t_user.__loadFromFields(t_user.java:292)
at t_user.parse(t_user.java:230)
at org.apache.sqoop.mapreduce.TextExportMapper.map(TextExportMapper.java:83)
... 10 more
Caused by: java.lang.NumberFormatException: For input string: "4dlm222dlm222"
at java.lang.NumberFormatException.forInputString(NumberFormatException.java:65)
at java.lang.Integer.parseInt(Integer.java:492)
at java.lang.Integer.valueOf(Integer.java:582)
at t_user.__loadFromFields(t_user.java:279)
... 12 more

原因：sqoop导出是根据分隔符去分隔字段值。hive默认的分隔符是‘\\001’,sqoop默认的分隔符是\',\'。

解决：在脚本中需要加入 --input-fields-terminated-by \'\\001\' 参数。
3.2 --input-fields-terminated-by和-fields-teminated-by区别

官网：

解析：

--input-fields-terminated-by：表示用于hive或hdfs数据导出到外部存储分隔参数；

--fields-terminated-by：表示用于外面存储导入到hive或hdfs中需要实现字段分隔的参数；
3.3 mapreduce.job超时异常

 

原因：本次hive是基于hadoop mapreduce去处理计算的。其中mapreduce读取数据是通过job任务去完成，如果在该时间范围内，没有读到任何的数据，那么就抛出这个异常。

本异常不影响结果。

————————————————
版权声明：本文为CSDN博主「IT狗探求」的原创文章，遵循CC 4.0 BY-SA版权协议，转载请附上原文出处链接及本声明。
原文链接：https://blog.csdn.net/a123demi/article/details/72821605