Spark 作业抛出“org.apache.spark.rpc.RpcTimeoutException: Futures timed out after [120 seconds]”
Posted
技术标签:
【中文标题】Spark 作业抛出“org.apache.spark.rpc.RpcTimeoutException: Futures timed out after [120 seconds]”【英文标题】：Spark job throws “org.apache.spark.rpc.RpcTimeoutException: Futures timed out after [120 seconds]” 【发布时间】：2021-07-31 01:06:47 【问题描述】：我在 AWS EMR 上运行 Spark，但 spark 作业有时会抛出 org.apache.spark.rpc.RpcTimeoutException: Futures timed out after [120 seconds]”
【问题讨论】：
【参考方案1】：尝试增加spark.shuffle.io.connectionTimeout 间隔。 600 秒的值为我解决了这个问题。
这是节点之间的网络问题。根据需要增加。
【讨论】：
以上是关于Spark 作业抛出“org.apache.spark.rpc.RpcTimeoutException: Futures timed out after [120 seconds]”的主要内容，如果未能解决你的问题，请参考以下文章
原因: java.lang.NoClassDefFoundError: org/apache/spark/api/java/function/FlatMapFunction
Spark 作业抛出“org.apache.spark.rpc.RpcTimeoutException: Futures timed out after [120 seconds]”