Sqoop - 在导入到 HDFS 之前操作 Mysql 表

Posted 2023-04-18

【中文标题】Sqoop - 在导入到 HDFS 之前操作 Mysql 表

【英文标题】：Sqoop - Manipulate a Mysql table before importing to HDFS

【发布时间】：2018-01-23 18:36:58

【问题描述】：

在导入到HDFS之前，我们可以通过选择mysql中的特定列或其他条件来编辑表，在MYSQL数据库中保存为新表吗？

【问题讨论】：

回答原题。您不需要 Sqoop。可以使用其他几种工具。例如，Spark

【参考方案1】：

是的，我们可以在将新表导出到 HDFS 之前将其保存到 MySQL。我们也可以使用 vi 编辑器编辑文件并将其导出到 HDFS。但是使用 sqoop 会容易得多。

【讨论】：

编辑什么文件？

【参考方案2】：

你可以在 sqoop 导入之前使用 sqoop 级别来达到某些目的。