Apache Pig - 错误 2118：对于输入字符串：“4f8:0:a111::add:9898”

Posted 2023-04-18

【中文标题】Apache Pig - 错误 2118：对于输入字符串：“4f8:0:a111::add:9898”

【英文标题】：Apache Pig - ERROR 2118: For input string: "4f8:0:a111::add:9898"

【发布时间】：2013-11-04 18:05:14

【问题描述】：

我们最近升级了集群以使用 Hadoop 2.0.0-cdh4.4.0。

更改后，我们需要重新安装 pig，它以前可以正常工作。安装as described here 后，不会创建最简单的 HBase 作业。

raw_protobuffer = 加载 'hbase://data_table' 使用 org.apache.pig.backend.hadoop.hbase.HBaseStorage('external_data:downloaded', '-限制=1 -gte=0 -lte=1') AS（数据：字节数组）；

魔法失败：

失败的作业：JobId 别名功能消息输出 N/A raw_protobuffer MAP_ONLY 消息： org.apache.pig.backend.executionengine.ExecException：错误 2118：对于 输入字符串：“4f8:0:a111::add:9898”在 org.apache.pig.backend.hadoop.executionengine.mapReduceLayer.PigInputFormat.getSplits(PigInputFormat.java:288) 在 org.apache.hadoop.mapred.JobClient.writeNewSplits(JobClient.java:1063) 在 org.apache.hadoop.mapred.JobClient.writeSplits(JobClient.java:1080) 在 org.apache.hadoop.mapred.JobClient.access$600(JobClient.java:174) 在 org.apache.hadoop.mapred.JobClient$2.run(JobClient.java:992) 在 org.apache.hadoop.mapred.JobClient$2.run(JobClient.java:945) 在 java.security.AccessController.doPrivileged(Native Method) 在 javax.security.auth.Subject.doAs(Subject.java:415) 在 org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1408) 在 org.apache.hadoop.mapred.JobClient.submitJobInternal(JobClient.java:945) 在 org.apache.hadoop.mapreduce.Job.submit(Job.java:566) 在 org.apache.hadoop.mapreduce.lib.jobcontrol.ControlledJob.submit(ControlledJob.java:319) 在 org.apache.hadoop.mapreduce.lib.jobcontrol.JobControl.startReadyJobs(JobControl.java:239) 在 org.apache.hadoop.mapreduce.lib.jobcontrol.JobControl.run(JobControl.java:270) 在 org.apache.pig.backend.hadoop23.PigJobControl.run(PigJobControl.java:160) 在 java.lang.Thread.run(Thread.java:744) 在 org.apache.pig.backend.hadoop.executionengine.mapReduceLayer.MapReduceLauncher$1.run(MapReduceLauncher.java:257) 引起：java.lang.NumberFormatException：对于输入字符串： “4f8:0:a111::add:9898”在 java.lang.NumberFormatException.forInputString(NumberFormatException.java:65) 在 java.lang.Integer.parseInt(Integer.java:492) 在 java.lang.Integer.parseInt(Integer.java:527) 在 com.sun.jndi.dns.DnsClient.(DnsClient.java:122) 在 com.sun.jndi.dns.Resolver.(Resolver.java:61) 在 com.sun.jndi.dns.DnsContext.getResolver(DnsContext.java:570) 在 com.sun.jndi.dns.DnsContext.c_getAttributes(DnsContext.java:430) 在 com.sun.jndi.toolkit.ctx.ComponentDirContext.p_getAttributes(ComponentDirContext.java:231) 在 com.sun.jndi.toolkit.ctx.PartialCompositeDirContext.getAttributes(PartialCompositeDirContext.java:139) 在 com.sun.jndi.toolkit.url.GenericURLDirContext.getAttributes(GenericURLDirContext.java:103) 在 javax.naming.directory.InitialDirContext.getAttributes(InitialDirContext.java:142) 在 org.apache.hadoop.net.DNS.reverseDns(DNS.java:85) 在 org.apache.hadoop.hbase.mapreduce.TableInputFormatBase.reverseDNS(TableInputFormatBase.java:219) 在 org.apache.hadoop.hbase.mapreduce.TableInputFormatBase.getSplits(TableInputFormatBase.java:184) 在 org.apache.pig.backend.hadoop.hbase.HBaseTableInputFormat.getSplits(HBaseTableInputFormat.java:87) 在 org.apache.pig.backend.hadoop.executionengine.mapReduceLayer.PigInputFormat.getSplits(PigInputFormat.java:274) ... 16 更多

我们怀疑对 tmp 文件夹的权限，但它们似乎没问题（即，作业目录是以 pig runner (!) 作为其所有者创建的）。任何我们可能错过的建议将不胜感激。

【问题讨论】：

在我看来像 IPv6 地址 - 建议您调查在集群上禁用 IPv6 功能

非常感谢@ChrisWhite，这是正确的提示。如果您可以将此添加为答案，我将能够接受。

【参考方案1】：

在我看来像 IPv6 地址 - 建议您调查在集群上禁用 IPv6 功能

【讨论】：

在 Ubuntu 上禁用它的步骤可以在这里找到，例如：rohitmenon.com/index.php/…。此外，就我而言，我需要删除 /etc/resolv.conf 中的 IPv6 条目。