使用 --input-lines-terminated-by=":" 导出 sqoop 不起作用

Posted 2023-04-18

【中文标题】使用 --input-lines-terminated-by=":" 导出 sqoop 不起作用

【英文标题】：export sqoop with --input-lines-terminated-by=":" not working

【发布时间】：2019-01-31 17:56:06

【问题描述】：

我正在尝试从 hdfs 导出到 mysql 一个以“：”作为行终止符的文件。我的 sqoop 命令只导出第一行。 我的预期结果是用两列 id 和 description 编写表测试。请帮帮我。 谢谢。

在文件file/departments_enclosedby/part-m-00000-test:

'2'~'fitness new':'3'~'footwear':'4'~'Apparel':'5'~'Golf':'6'~'Outdoors':'7'~'Fan Shop':'2'~'fitness new':'3'~'footwear':'12'~'Mathematics':'13'~'Science':'14'~'engineering  ':'1000'~'management':'9999'~'\'Data Science\'':

我的命令：

sqoop export \
    --connect="jdbc:mysql://***********" \
    --username=********* \
    --password=******* \
    --table=test \
    -m 1 \
    --export-dir="file/departments_enclosedby/part-m-00000-test" \
    --input-enclosed-by="'" \
    --input-escaped-by="\\" \
    --input-fields-terminated-by="~" \
    --input-lines-terminated-by=":"

此命令以：Exported 1 records.

结尾

我尝试用这种方式在文件中添加一行：

'2'~'fitness new':'3'~'footwear':'4'~'Apparel':'5'~'Golf':'6'~'Outdoors':'7'~'Fan Shop':'2'~'fitness new':'3'~'footwear':'12'~'Mathematics':'13'~'Science':'14'~'engineering  ':'1000'~'management':'9999'~'\'Data Science\'':
'3'~'footwear':'4'~'Apparel':'5'~'Golf':'6'~'Outdoors':'7'~'Fan Shop':'2'~'fitness new':'3'~'footwear':'12'~'Mathematics':'13'~'Science':'14'~'engineering  ':'1000'~'management':'9999'~'\'Data Science\'':

使用此文件，sqoop 命令导出 2 行，id 2 和 3。

【问题讨论】：

我已将您的示例标记为带有 的代码以提高可读性

谢谢！！我强调导出对于 id 1 是可以的：脚本 sqoop 导出第 2 列和原始文件的“fitness new”。

你在 mysql 中得到的输出是什么，mysql 表的架构是什么

导出只有2，适合mysql表“test”中的新。表test的schema是：id，description。带有测试文件的导出为两行：2，健身新品和 3，鞋类。

参数 --input-fields-terminated-by 'any delimiter in single quotes' 有效。

【参考方案1】：

我的 hive 版本不支持不同于 \n 的行终止符。

SemanticException 7:20 LINES TERMINATED BY 目前仅支持换行符 '\n'。在令牌“-”附近遇到错误

因此导入工作正常，但配置单元无法读取或再次导出文件。

再见，谢谢