除了 SQOOP，还有啥方法可以从 RDBMS 传输到 HDFS？

Posted 2023-04-17

【中文标题】除了 SQOOP，还有啥方法可以从 RDBMS 传输到 HDFS？

【英文标题】：Is there any ways for transfer from RDBMS to HDFS besides SQOOP?除了 SQOOP，还有什么方法可以从 RDBMS 传输到 HDFS？

【发布时间】：2016-10-17 08:22:24

【问题描述】：

除了使用 sqoop 将 RDBMS 传输到 HDFS 之外，我还想要其他方式，请给我提示 请任何人解释一下，hive 和 sqoop 之间的关系是什么？

【问题讨论】：

如果您能分享您正在谈论的特定 RDBMS，那就太好了。

mysql 数据库到 hadoop 开发

有很多选项 - 使用spark、apache-drill、apache nifi 等，您可以手动完成 - 使用mysqldump 转换为 csv，然后将 csv 放入 hadoop

【参考方案1】：

添加到 dev ツ 的答案中，您还有一个名为 streamets 数据收集器的工具，它可以帮助您通过创建 JDBC 连接将数据从 mysql 获取到 HDFS。