Sqoop导出Hive数据到Mysql时异常问题解决

Posted GaryLea

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了Sqoop导出Hive数据到Mysql时异常问题解决相关的知识,希望对你有一定的参考价值。

Sqoop导出Hive数据到mysql时异常问题解决

报错信息如下:

原因:

  1. 报错信息显示:NumberFormatException,初步判断是数据类型,检测Mysql与Hive的建表语句,确认无误,于是手动将Mysql所有字段类型改为varchar,发现DT字段从建表语句之前跑到了后面
  2. 当前数据库采用mysql8.0+,之前导数时采用的是mysql5.7,可能是sqoop的bug

解决方案:
因为sqoop不再维护,因此有两种方案
3. 更换导数组件,不使用sqoop,采用datax/spark/flink等
4. 添加参数 columns 字段,将导出的每张表字段进行固定

# 示例
hive_db_name=hive_db
mysql_db_name=mysql_db

export_data() 
$SQOOP_HOME export \\
--connect "jdbc:mysql://hdp:3306/$mysql_db_name?useUnicode=true&characterEncoding=utf-8"  \\
--username username\\
--password passward\\
--table $1 \\
--num-mappers 1 \\
--export-dir /datawarehouse/$hive_db_name/ads/$1 \\
--input-fields-terminated-by "\\t" \\
--update-mode allowinsert \\
--update-key $2 \\
--input-null-string '\\\\N'    \\
--input-null-non-string '\\\\N' \\
--columns $3

case $1 in
  "adsIT_traffic_web_pv" )
    export_data "ads_table1" "dt,Column1" "dt,Column1,Column2,Column3"
  ;;
  "adsIT_traffic_product_downloadInstallActivateCount" )
    export_data "ads_table2" "dt" "dt,Column1,Column2,Column3.."
  ;;
"all" )
    export_data "ads_table1" "dt,Column1" "dt,Column1,Column2,Column3"
    export_data "ads_table2" "dt" "dt,Column1,Column2,Column3.."
    ...省略
  ;;
esac

以上是关于Sqoop导出Hive数据到Mysql时异常问题解决的主要内容,如果未能解决你的问题,请参考以下文章

Sqoop导出Hive数据到Mysql时异常问题解决

sqoop从hive导入数据到mysql时出现主键冲突

Sqoop_具体总结 使用Sqoop将HDFS/Hive/HBase与MySQL/Oracle中的数据相互导入导出

sqoop导出hive数据到mysql避免空值

利用sqoop将hive数据导入导出数据到mysql

有多个'。 sqoop 将数据从 Mysql 导出到 hive datetime 类型后的 0'