将 HBase 数据导出到 RDBMS

Posted

技术标签:

【中文标题】将 HBase 数据导出到 RDBMS【英文标题】:Export HBase Data to RDBMS 【发布时间】:2012-01-06 13:23:06 【问题描述】:

我使用 HBase 来存储数据,但后来为了满足我的要求,我想将数据从 HBase 导出到 RDBM,如 mysql 或 postgres。我知道我们有 Sqoop 作为选项,但它从 MySQL 导入并将其放入 HBase,并将保存在 HDFS 中的数据导出到 RDBMS,它不能直接从 HBase 导入数据。

有没有工具可以将数据从 HBase 表导出到 RDBMS 表?

【问题讨论】:

【参考方案1】:

不确定这是否是更好的方法,但可以将 HBase 数据 exported 放入一个平面文件中,然后加载到 RDBMS 中。

【讨论】:

此外,您可以将 HBase 表挂载为 Hive 表(假设它具有一致的架构):cwiki.apache.org/confluence/display/Hive/HBaseIntegration @Praveen Sripati,您的链接和文字令人困惑。该链接指向一篇关于从 HBase 导出的文章(准确回答问题所在!)。但你的文字说它是 Hive。 @PraveenSripati,我可以将其导出到平面文件,但之后我将如何将其加载到 RDBMS?是否有任何工具或机制来实现这一目标? 取决于数据库 - 对于mysql。 @PraveenSripati 您的链接现在已失效 (404)。您能否更新链接,或者更好的是,将链接中的信息添加到您的答案中,使其不依赖于外部站点。

以上是关于将 HBase 数据导出到 RDBMS的主要内容,如果未能解决你的问题,请参考以下文章

使用Hive表名将Sqoop导出hive表导出到RDBMS

Sqoop_具体总结 使用Sqoop将HDFS/Hive/HBase与MySQL/Oracle中的数据相互导入导出

浅谈sqoop

sqoop

sqoop

sqoop