从 Datastax Cassandra 中提取并使用 Sqoop 加载到 HBase

Posted

技术标签:

【中文标题】从 Datastax Cassandra 中提取并使用 Sqoop 加载到 HBase【英文标题】:Extract from Datastax Cassandra and load into HBase using Sqoop 【发布时间】:2015-05-19 10:00:47 【问题描述】:

我有 3 个运行 DSE 4.5 的物理节点。在相同的 3 个节点上,我也运行了 HDP 2.2。使用 Sqoop(dse sqoop 或 HortonWorks 提供的 sqoop),如何从 Cassandra 表中提取数据并加载到 Hbase?

我在网上搜索过,所有示例都将 RDBMS 描述为 HBase,反之亦然,或者 RDBMS 描述为 Cassandra,反之亦然。没有找到任何 Cassandra 到 HBase 的示例,即 NoSQL 到 NoSQL。 /usr/share/dse/demos/sqoop 中的 README.txt 还详细说明了从 mysql 到 cassandra 的导入/导出。

非常感谢任何帮助

【问题讨论】:

【参考方案1】:

DSE 4.5 提供的 sqoop 版本不支持此功能。它只支持RDBMS和NoSql之间的数据传输,不支持NoSql和NoSql之间的数据传输。

【讨论】:

以上是关于从 Datastax Cassandra 中提取并使用 Sqoop 加载到 HBase的主要内容,如果未能解决你的问题,请参考以下文章

使用datastax python-driver从cassandra获取正确的时间戳

DataStax DSBulk - 查询/表卸载之间的差异

可以通过 Cassandra Datastax 驱动程序从文件中加载语句吗?

Datastax Cassandra PHP 驱动程序

使用 datastax 进行错误的 SOlr 索引。从 1 个节点扩展到 2 个 cassandra 节点和 1 个搜索节点

使用 DataStax 生命周期管理器升级 cassandra