Pig 不断尝试连接到作业历史服务器(并且失败)

Posted

技术标签:

【中文标题】Pig 不断尝试连接到作业历史服务器(并且失败)【英文标题】:Pig keeps trying to connect to job history server (and fails) 【发布时间】:2015-04-21 22:46:41 【问题描述】:

我正在运行一个无法连接到 Hadoop 作业历史服务器的 Pig 作业。

任务(通常是任何带有GROUP BY 的任务)运行一段时间,然后以如下消息开始:

2015-04-21 19:05:22,825 [main] INFO  org.apache.hadoop.mapred.ClientServiceDelegate - Application state is completed. FinalApplicationStatus=SUCCEEDED. Redirecting to job history server
2015-04-21 19:05:26,721 [main] INFO  org.apache.hadoop.ipc.Client - Retrying connect to server: 0.0.0.0/0.0.0.0:10020. Already tried 0 time(s); retry policy is RetryUpToMaximumCountWithFixedSleep(maxRetries=10, sleepTime=1000 MILLISECONDS)
2015-04-21 19:05:29,721 [main] INFO  org.apache.hadoop.ipc.Client - Retrying connect to server: 0.0.0.0/0.0.0.0:10020. Already tried 1 time(s); retry policy is RetryUpToMaximumCountWithFixedSleep(maxRetries=10, sleepTime=1000 MILLISECONDS)

然后它会继续重试连接一段时间。有时它先于工作。有时它会抛出此异常:

2015-04-21 19:05:55,822 [main] WARN  org.apache.pig.tools.pigstats.mapreduce.MRJobStats - Unable to get job counters
java.io.IOException: java.io.IOException: java.net.NoRouteToHostException: No Route to Host from  cluster-01/10.10.10.11 to 0.0.0.0:10020 failed on socket timeout exception: java.net.NoRouteToHostException: No route to host; For more details see:  http://wiki.apache.org/hadoop/NoRouteToHost
    at org.apache.pig.backend.hadoop.executionengine.shims.HadoopShims.getCounters(HadoopShims.java:132)
    at org.apache.pig.tools.pigstats.mapreduce.MRJobStats.addCounters(MRJobStats.java:284)
    at org.apache.pig.tools.pigstats.mapreduce.MRPigStatsUtil.addSuccessJobStats(MRPigStatsUtil.java:235)
    at org.apache.pig.tools.pigstats.mapreduce.MRPigStatsUtil.accumulateStats(MRPigStatsUtil.java:165)
    at org.apache.pig.backend.hadoop.executionengine.mapReduceLayer.MapReduceLauncher.launchPig(MapReduceLauncher.java:360)
    at org.apache.pig.backend.hadoop.executionengine.HExecutionEngine.launchPig(HExecutionEngine.java:280)

我发现了这个问题here,但在我的情况下,作业历史服务器已启动。如果我运行 netstat,我会发现:

tcp        0      0 0.0.0.0:10020           0.0.0.0:*               LISTEN      12073/java       off (0.00/0/0)

12073 在哪里...

12073 pts/4    Sl     0:07 /usr/lib/jvm/java-7-openjdk-amd64/bin/java -Dproc_historyserver -Xmx1000m -Djava.library.path=/data/hadoop/hadoop/lib -Djava.net.preferIPv4Stack=true -Dhadoop.log.dir=/data/hadoop/hadoop-2.3.0/logs -Dhadoop.log.file=hadoop.log -Dhadoop.home.dir=/data/hadoop/hadoop-2.3.0 -Dhadoop.id.str=hadoop -Dhadoop.root.logger=INFO,console -Dhadoop.policy.file=hadoop-policy.xml -Djava.net.preferIPv4Stack=true -Dhadoop.log.dir=/data/hadoop/hadoop/logs -Dhadoop.log.file=mapred-hadoop-historyserver-cluster-01.log -Dhadoop.root.logger=INFO,RFA -Dmapred.jobsummary.logger=INFO,JSA -Dhadoop.security.logger=INFO,NullAppender org.apache.hadoop.mapreduce.v2.hs.JobHistoryServer

我尝试打开端口 10200 以防万一是防火墙问题:

ACCEPT     tcp  --  anywhere             anywhere             tcp dpt:10020

...但没有运气。

几分钟后,有些任务只是随意继续下一部分。

我正在使用 Hadoop 2.3 和 Pig 0.14。

我的问题是:

1) 鉴于 JHS 运行在 Pig 寻找的同一端口上,Pig 无法连接到作业历史服务器 (JHS) 的可能原因是什么?

...或者失败了...

2) 有什么方法可以告诉 Pig 停止尝试连接到 JHS 并继续执行任务?

【问题讨论】:

【参考方案1】:

似乎大多数 Hadoop 安装/配置指南都忽略了配置 Job History Server。似乎 Pig 尤其依赖此服务器。 JHS 的默认(本地)设置似乎也不适用于多节点集群。

解决方案是将服务器的主机名添加到mapred-site.xml 的配置中,以确保它可以被其他机器访问。 (在我的文件版本中,必须将这些行添加为“新”...没有以前的设置。)

<property>
  <name>mapreduce.jobhistory.address</name>
  <value>cm:10020</value>
  <description>Host and port for Job History Server (default 0.0.0.0:10020)</description>
</property>

然后重启作业历史服务器:

mr-jobhistory-daemon.sh stop historyserver
mr-jobhistory-daemon.sh start historyserver

如果您遇到绑定异常(端口正在使用),则表示stop 不起作用。要么

    使用ps ax | grep -e JobHistory 获取进程并使用kill -9 [pid] 手动终止它。然后再次调用上面的启动命令。或者

    在配置中使用不同的端口

Pig 应该会自动选择新设置。运行 Pig 脚本,希望一切顺利。

【讨论】:

【参考方案2】:

使用以下命令在 hadoop bin 中启动历史服务器

bin$ ./mr-jobhistory-daemon.sh start historyserver

使用以下命令运行 pig

$pig

【讨论】:

【参考方案3】:

hadoop/etc/hadoop/mapred-site.xml 中配置 mapreduce.jobhistory.address, 然后:

mapred --daemon start

【讨论】:

【参考方案4】:

解决方案是历史服务器没有运行:

[user@vm9 sbin]$ ./mr-jobhistory-daemon.sh start historyserver
starting historyserver, logging to /home/user/hadoop-2.7.7/logs/mapred-user-historyserver-vm9.out
[user@vm9 sbin]$ jps
5683 NameNode
6309 NodeManager
5974 SecondaryNameNode
8075 RunJar
6204 ResourceManager
8509 JobHistoryServer
5821 DataNode
8542 Jps
[user@vm9 sbin]$ 

现在 pig 可以正常运行,它会连接到作业历史服务器,并且转储命令工作正常。

【讨论】:

以上是关于Pig 不断尝试连接到作业历史服务器(并且失败)的主要内容,如果未能解决你的问题,请参考以下文章

csgo连接到任意服务器失败为啥?

访问 mdb 文件,数据库不断尝试连接到远程服务器

连接到同一数据库的两个cron作业会导致连接失败

为什么我无法连接到我的服务器(连接尝试失败)

我正在尝试使用 PHP 连接到 Azure 服务总线队列,但我不断收到此错误

邮件发送失败。无法连接到远程服务器。套接字操作