将数据从 hdfs 移动到 sql

Posted 2023-04-18

【中文标题】将数据从 hdfs 移动到 sql

【英文标题】：Moving data from hdfs to sql

【发布时间】：2016-05-19 16:30:37

【问题描述】：

我正在测试我的设置，我需要将 hdfs 中的数据移动到 sql DB 中，并且在生成数据时也需要这样做。我的意思是.. 一旦 mapreduce 作业完成，它将发送一条 ActivMQ 消息。一旦我使用 Sqoop 收到 ActivMQ 消息，我需要将其自动移动到 sql。有人可以帮助如何实现这一目标。

谁能告诉我 MQ 和 Sqoop 是否可以一起工作..？

谢谢你..

【问题讨论】：

您是否在 SQL Server 所在的目标位置安装了 Microsoft BI？我知道可以使用 SSIS 为数据提取指定 HDFS 源

感谢您的回复... Microsoft BI.. 我永远不知道.... 我需要将数据从 HDFS 移动到 SQL 数据库，当它到达特定位置时也需要（自动）。

写一个简单的批处理来每分钟运行一次怎么样？我过去使用的一种简单方法是，有一个带有开关变量“switch=off”的文件。成功完成后，您的 mapreduce 作业可以将其修改为“swith=on”。

每分钟运行的批处理可以检查变量是否为“打开”，并相应地执行 hdfs dfs -copyToLocal source destination

感谢您的回复，抱歉回复晚了。因此，批处理作业或 SSIS 是解决此问题的唯一方法..？一旦收到 JMS 就启动一个 sqoop 操作会怎么样？任何想法..

【参考方案1】：

我对用例并不完全清楚，但您可以设置一个 Ooizie 工作流。Sqoop 作业只有在 map-reduce 作业完成后才会启动。您实际上可以使用 Oozie 创建一个复杂的 DAG。 Oozie 工作流程又可以从远程 Java 客户端调用。 希望这会有所帮助。