如何将SQL数据加载到Hortonworks中？

Posted 2021-03-26

我在我的电脑上安装了Hortonworks SandBox。还尝试了一个CSV文件，并以表格结构方式获取其OK（Hive + Hadoop），我想将我当前的SQL数据库迁移到Sandbox（MS SQL 2008 r2）。我会怎样做？也想连接到我的项目（VS 2010 C＃）。

是否可以通过ODBC连接？

我听说sqoop用于将数据从SQL传输到Hadoop，那么我如何使用sqoop进行迁移呢？

答案

您可以编写自己的工作来迁移数据。但是Sqoop会更方便。要做到这一点，你需要download Sqoop和适当的连接器，在你的情况下为Apache Hadoop的Microsoft SQL Server连接器。你可以从here下载它。请通过Sqoop user guide。它包含了所有详细信息。

而Hive确实支持ODBC。你可以在这个page找到更多相关信息。

另一答案

我写下了你需要在Hortonworks Sandbox中完成的步骤来安装JDBC驱动程序并让它工作：http://hortonworks.com/community/forums/topic/import-microsoft-sql-data-into-sandbox/

要在C＃项目中连接到Hadoop，可以使用http://hortonworks.com/thankyou-hdp13/#addon-table中的Hortonworks Hive ODBC驱动程序。阅读PDF（也在该页面上）以了解它是如何工作的（我使用Hive Server Type 2和用户名沙箱）