运行 Pig 脚本时出现异常

Posted 2023-04-18

【中文标题】运行 Pig 脚本时出现异常

【英文标题】：Getting exception while running Pig Script

【发布时间】：2015-10-23 18:22:48

【问题描述】：

在大约 300GB 的数据集上运行 Pig 脚本时出现以下错误。

错误：计数器数量超出限制 - Counters=120 Limit=120

有人对如何不修改 Pig 属性文件中的计数器配置有任何想法吗？

【参考方案1】：

这不能作为正确答案，因为您需要修改配置文件。在不修改一些配置文件的情况下，我认为目前没有任何办法。

现在这是纯采摘，但实际上您可以在不修改 Pig 属性的情况下执行此操作。您需要做的就是在 Hadoop 配置文件中配置计数器限制。

根据您的 Hadoop 版本，将 mapreduce.job.counters.max 或 mapreduce.job.counters.limit 添加到您的文件 mapred-site.xml 。例如。

<property>
     <name>mapreduce.job.counters.limit</name>
     <value>256</value>
</property>

记得重启所有节点管理器和历史服务器。