从 Datastax Cassandra 中提取并使用 Sqoop 加载到 HBase
Posted
技术标签:
【中文标题】从 Datastax Cassandra 中提取并使用 Sqoop 加载到 HBase【英文标题】:Extract from Datastax Cassandra and load into HBase using Sqoop 【发布时间】:2015-05-19 10:00:47 【问题描述】:我有 3 个运行 DSE 4.5 的物理节点。在相同的 3 个节点上,我也运行了 HDP 2.2。使用 Sqoop(dse sqoop 或 HortonWorks 提供的 sqoop),如何从 Cassandra 表中提取数据并加载到 Hbase?
我在网上搜索过,所有示例都将 RDBMS 描述为 HBase,反之亦然,或者 RDBMS 描述为 Cassandra,反之亦然。没有找到任何 Cassandra 到 HBase 的示例,即 NoSQL 到 NoSQL。 /usr/share/dse/demos/sqoop 中的 README.txt 还详细说明了从 mysql 到 cassandra 的导入/导出。
非常感谢任何帮助
【问题讨论】:
【参考方案1】:DSE 4.5 提供的 sqoop 版本不支持此功能。它只支持RDBMS和NoSql之间的数据传输,不支持NoSql和NoSql之间的数据传输。
【讨论】:
以上是关于从 Datastax Cassandra 中提取并使用 Sqoop 加载到 HBase的主要内容,如果未能解决你的问题,请参考以下文章
使用datastax python-driver从cassandra获取正确的时间戳
可以通过 Cassandra Datastax 驱动程序从文件中加载语句吗?
使用 datastax 进行错误的 SOlr 索引。从 1 个节点扩展到 2 个 cassandra 节点和 1 个搜索节点