我可以在 cassandra 数据库上使用 spark hivecontext 吗?

Posted

技术标签:

【中文标题】我可以在 cassandra 数据库上使用 spark hivecontext 吗?【英文标题】:Can I use spark hivecontext over cassandra database? 【发布时间】:2015-09-03 07:51:00 【问题描述】:

我是这些技术的新手,我已经成功地设置了 cassandra 和 spark 集成。目前我们正在使用 spark sqlContext,但是我可以将 hiveContext 用于相同的数据库,因为 HiveQL 解析器功能更丰富和更完整,正如他们的文档中提到的 here

【问题讨论】:

我想你可以。请参考以下链接一次。 russellspitzer.com/2015/01/10/CassandraRdd-HiveQL 如果这不是您所要求的,请告诉我。 感谢文章链接。就我而言,它起作用了,我只需要在所有表名之前附加键空间即可。比如 select * from mykeyspace.mytablename; 【参考方案1】:

我想你可以。请参考以下链接一次。 russellspitzer.com/2015/01/10/CassandraRdd-HiveQL 如果这不是您所要求的,请告诉我。

【讨论】:

以上是关于我可以在 cassandra 数据库上使用 spark hivecontext 吗?的主要内容,如果未能解决你的问题,请参考以下文章

Cassandra 全局快照

如何使用Cassandra复制因子1管理节点故障?

如何将数据从 Cassandra 导出到 mongodb?

如何在 Cassandra 节点上实现数据本地化

Cassandra 数据上的 TTL Remover

Cassandra 时间数据类型