使用 --create-hive-table 直接在 hive 中导入 mysql 表 (sqoop)

Posted

技术标签:

【中文标题】使用 --create-hive-table 直接在 hive 中导入 mysql 表 (sqoop)【英文标题】:Import a mysql table (sqoop) directly in hive using --create-hive-table 【发布时间】:2017-05-29 19:48:39 【问题描述】:

我正在为 HDPCD 考试进行自我训练,因此我正在使用 mysql 到 Hive 测试所有可能的导入和导出。在此示例中,我想从 MySQL 导入一个表,并使用参数 --create-hive-table 在 hive 中从头开始创建同一个表。虽然在[documentation][1] 中包含了它,但我找到了一个正确的例子来做到这一点。这个我试过了,还是不行

sqoop import --connect jdbc:mysql://master/poc --username root --table dept --where 'id_dept > 2' --hive-import --hive-database poc --hive-table deptv2 --create-hive-table true -m 1 --split-by id_dept

如果你们当中有人知道如何使用它,请告诉我。非常感谢

【问题讨论】:

【参考方案1】:

我回来了,因为我只需要再试一次,只需在没有任何输入的情况下输入参数,就可以了。无论如何,我会留下一个例子。可能它会帮助某人。

sqoop import --connect jdbc:mysql://master/poc --username root \
  --table dept --where 'id_dept > 2' --hive-import \
  --hive-database poc --hive-table deptv2 --create-hive-table -m 1 --split-by id_dept

谢谢。

【讨论】:

以上是关于使用 --create-hive-table 直接在 hive 中导入 mysql 表 (sqoop)的主要内容,如果未能解决你的问题,请参考以下文章

如何使用 sqoop import-mainframe --create-hive-table 命令定义 hive 表结构

sh cca175-problem-03-create-hive-table.sh

Sqoop导入所有不与Hive数据库同步的表

Sqoop - 使用 Avro 格式将表从 Oracle 导入 Hive 的最佳选择是啥?

SQOOP可能会导致HDFS分片数量过多的总结

使用 linq 生成直接更新,无需选择