将 PIG 与 cassandra 一起使用的限制
Posted
技术标签:
【中文标题】将 PIG 与 cassandra 一起使用的限制【英文标题】:Limitations of using PIG with cassandra 【发布时间】:2012-01-03 02:45:56 【问题描述】:我打算将 PIG 与 cassandra 一起用于查询目的。 为此,我安装了 Pygmalion。 过去我在 HIVE 上做过一些工作,这显然有查询语言的限制。 我们无法在查询中实现完整的语言。
使用 PIG 也有类似的限制吗?
【问题讨论】:
您是否特别担心任何限制?该语言在这一点上非常灵活,也可以使用 UDF 进行扩展。 Pig 可能会解决您遇到的任何问题。 【参考方案1】:根据我最近的经验,面临的唯一限制是 RPC 超时,这使得整个 MapReduce 过程由于 1 容错而失败。
我还没有解决这个问题。如果有人可以提供帮助,请分享。
【讨论】:
以上是关于将 PIG 与 cassandra 一起使用的限制的主要内容,如果未能解决你的问题,请参考以下文章
Pig into Cassandra - 使用 python UDF 和 CqlStorage 传递列表对象
如何使用 Pig 从 Cassandra 加载 CF/TABLE