错误yarn.ApplicationMaster：未捕获的异常：java.util.concurrent.TimeoutException：期货在100000毫秒后超时[重复]

Posted 2023-04-15

【中文标题】错误yarn.ApplicationMaster：未捕获的异常：java.util.concurrent.TimeoutException：期货在100000毫秒后超时[重复]

【英文标题】：ERROR yarn.ApplicationMaster: Uncaught exception: java.util.concurrent.TimeoutException: Futures timed out after 100000 milliseconds [duplicate]

【发布时间】：2017-10-23 17:43:54

【问题描述】：

我的 spark 应用程序有这个问题，我使用 1.6 spark 版本，scala 2.10：

17/10/23 14:32:15 ERROR yarn.ApplicationMaster: Uncaught exception: 
java.util.concurrent.TimeoutException: Futures timed out after [100000
milliseconds]at
scala.concurrent.impl.Promise$DefaultPromise.ready(Promise.scala:219)
at
scala.concurrent.impl.Promise$DefaultPromise.result(Promise.scala:223)
at scala.concurrent.Await$$anonfun$result$1.apply(package.scala:107)
at
scala.concurrent.BlockContext$DefaultBlockContext$.blockOn(BlockContext.scala:53)
at scala.concurrent.Await$.result(package.scala:107) at
org.apache.spark.deploy.yarn.ApplicationMaster.runDriver(ApplicationMaster.scala:342)
at
org.apache.spark.deploy.yarn.ApplicationMaster.run(ApplicationMaster.scala:197)
at
org.apache.spark.deploy.yarn.ApplicationMaster$$anonfun$main$1.apply$mcV$sp(ApplicationMaster.scala:680)
at
org.apache.spark.deploy.SparkHadoopUtil$$anon$1.run(SparkHadoopUtil.scala:69)
at
org.apache.spark.deploy.SparkHadoopUtil$$anon$1.run(SparkHadoopUtil.scala:68)
at java.security.AccessController.doPrivileged(Native Method) at
javax.security.auth.Subject.doAs(Subject.java:422) at
org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1917)
at
org.apache.spark.deploy.SparkHadoopUtil.runAsSparkUser(SparkHadoopUtil.scala:68)
at
org.apache.spark.deploy.yarn.ApplicationMaster$.main(ApplicationMaster.scala:678)
at
org.apache.spark.deploy.yarn.ApplicationMaster.main(ApplicationMaster.scala)
17/10/23 14:32:15 INFO yarn.ApplicationMaster: Final app status:
FAILED, exitCode: 10, (reason: Uncaught exception:
java.util.concurrent.TimeoutException: Futures timed out after [100000
milliseconds]) 17/10/23 14:32:15 INFO spark.SparkContext: Invoking
stop() from shutdown hook 17/10/23 14:32:15 INFO ui.SparkUI: Stopped
Spark web UI at http://180.21.232.30:43576 17/10/23 14:32:15 INFO
scheduler.DAGScheduler: ShuffleMapStage 27 (show at Linkage.scala:282)
failed in 24.519 s due to Stage cancelled because SparkContext was
shut down 17/10/23 14:32:15 arkListenerJobEnd (18,1508761935656,JobFailed (org.apache.spark.SparkException:Job 18 cancelled because SparkContext was shut down)) 17/10/23 14:32:15 INFO spark.MapOutputTrackerMasterEndpoint:
MapOutputTrackerMasterEndpoint stopped! 17/10/23 14:32:15 INFO
storage.MemoryStore: MemoryStore cleared 17/10/23 14:32:15 INFO
storage.BlockManager: BlockManager stopped 17/10/23 14:32:15 INFO
storage.BlockManagerMaster: BlockManagerMaster stopped 17/10/23
14:32:15 INFO remote.RemoteActorRefProvider$RemotingTerminator:
Shutting down remote daemon.
17/10/23 14:32:15 INFO util.ShutdownHookManager: Shutdown hook
calledBlockquote

我阅读了这个问题的文章，我试图修改下一个参数没有结果 --conf spark.yarn.am.waitTime=6000s

--conf spark.sql.broadcastTimeout=6000

--conf spark.network.timeout=600

致以最诚挚的问候

【问题讨论】：

您需要提供更多详细信息

您还需要哪些其他详细信息？

最后我解决了这个问题。问题是 hadoop.config 路径定义错误我在 SparkContext 中设置了这个变量。当我删除这组时，火花应用程序终止成功。

【参考方案1】：

请去掉代码中的 setMaster('local')，因为 Spark 默认使用 EMR 中的 YARN 集群管理器。

【讨论】：

谢谢，它确实帮助我删除了这行，这在我在本地机器上调试时很有用！我认为这个答案应该被接受。

也为我解决了这个问题，谢谢！

哈哈..我也有同样的问题..错误信息太误导了：D

【参考方案2】：

如果您尝试在 yarn client/cluster 上运行您的 spark 作业。不要忘记从您的代码.master("local[n]") 中删除master 配置。

要在纱线上提交火花作业，您需要传递--master yarn --deploy-mode cluster/client。

将master 设置为local 会导致重复超时异常。

【讨论】：

我没有将 master 设置为 'local[n]'，但我遇到了同样的异常。