PIG ERROR 2118:输入路径不存在

Posted

技术标签:

【中文标题】PIG ERROR 2118:输入路径不存在【英文标题】:PIG ERROR 2118: Input path does not exist 【发布时间】:2015-11-20 07:54:10 【问题描述】:

我正在运行简单的猪脚本,但它不断抛出异常,上面写着; org.apache.pig.backend.executionengine.ExecException: ERROR 2118: 输入路径不存在

相信我的路径是绝对正确的(根据我的理解),我尝试在本地文件系统和 MapReduce 模式下使用相同的数据,但没有区别。


【问题讨论】:

“/user/pmishr0/prashant/gold_offer_taxonomy/_temporary/”的内容是什么? 我正在经历类似的事情。我认为这与 HDFS 文件无关。就我而言,它抱怨我什至没有使用的蜂巢分区。我有一个非常复杂的 prig 脚本,如果我存储一些中间结果然后加载它们并像这样继续执行我可以继续前进。奇怪,但我认为这应该是一些资源分配问题,但这只是一个提示。如果我解决了,我会提供更新。 【参考方案1】:

我得到了解决,原因是,关系名称和指定的路径/文件夹具有相同的名称,在这种情况下它只会不迭代子文件夹或目录并产生这样的错误:)

【讨论】:

我也找到了我的问题的根本原因,我只想澄清你发现的相同:在我的情况下,我尝试加入源自相同负载源的“表” , 并由过滤器分隔(在给定的分区上)。我的一些同事说这是 PIG 中的一个已知问题,您可以通过指定 2 个加载语句并从 2 个单独的加载中过滤 2 个表来解决它。我希望它很清楚。

以上是关于PIG ERROR 2118:输入路径不存在的主要内容,如果未能解决你的问题,请参考以下文章

Pig 0.7.0 错误 2118:无法在 Hadoop 1.2.1 上创建输入拆分

Apache Pig - 错误 2118:对于输入字符串:“4f8:0:a111::add:9898”

Greenplum错误-输入路径不存在

错误包 org.apache.pig.FilterFunc 不存在

Pig:加入后字段不存在

Hadoop Pig fs 测试命令