将 PIG 与 cassandra 一起使用的限制

Posted

技术标签:

【中文标题】将 PIG 与 cassandra 一起使用的限制【英文标题】:Limitations of using PIG with cassandra 【发布时间】:2012-01-03 02:45:56 【问题描述】:

我打算将 PIG 与 cassandra 一起用于查询目的。 为此,我安装了 Pygmalion。 过去我在 HIVE 上做过一些工作,这显然有查询语言的限制。 我们无法在查询中实现完整的语言。

使用 PIG 也有类似的限制吗?

【问题讨论】:

您是否特别担心任何限制?该语言在这一点上非常灵活,也可以使用 UDF 进行扩展。 Pig 可能会解决您遇到的任何问题。 【参考方案1】:

根据我最近的经验,面临的唯一限制是 RPC 超时,这使得整个 MapReduce 过程由于 1 容错而失败。

我还没有解决这个问题。如果有人可以提供帮助,请分享。

【讨论】:

以上是关于将 PIG 与 cassandra 一起使用的限制的主要内容,如果未能解决你的问题,请参考以下文章

cassandra + pig 宽柱

Pig into Cassandra - 使用 python UDF 和 CqlStorage 传递列表对象

在 Pig 中生成 Cassandra 友好关系

如何使用 Pig 从 Cassandra 加载 CF/TABLE

将 Pig 与 Hadoop 一起使用时出现“无法创建 DataStorage”错误

当我尝试运行 pig + cassandra 时出现错误?请帮助