使用 sqoop 将数据从 CSV 导入 Avro 表的命令

Posted 2023-04-18

【中文标题】使用 sqoop 将数据从 CSV 导入 Avro 表的命令

【英文标题】：Command to import data from CSV to Avro table using sqoop

【发布时间】：2019-04-09 12:47:45

【问题描述】：

我的 HDFS 上有一个名为 test.csv 的 csv 文件。

我使用 Hue 创建了一个 Avro 表 (avro_test)，其列名与 csv 文件相同。我想使用 sqoop 命令将 csv 元素放入 Avro 表中。

什么 sqoop 命令可以实现这一点？

【参考方案1】：

Sqoop 旨在在 RDBMS 和 Hadoop 之间加载/传输数据。您可以将 CSV 数据插入到您创建的 avro 表中。

请参考以下链接。 Load from CSV File to Hive Table with Sqoop?

【讨论】：

谢谢。但是有没有其他方法可以用 sqoop 做到这一点？另外，当我使用加载数据执行此操作然后尝试显示我的表（从 avro_tab 中选择 *）时，我收到了一个很长的错误，该错误以请求 TFetchResultsReq 的错误状态开头。请问有什么建议吗？

您能否使用表格创建语句、示例 CSV 数据和您收到的错误消息更新问题？谢谢。