本地主机上丢失的执行程序驱动程序：执行程序心跳超时

Posted 2023-02-22

【中文标题】本地主机上丢失的执行程序驱动程序：执行程序心跳超时

【英文标题】：Lost executor driver on localhost: Executor heartbeat timed out

【发布时间】：2019-08-01 14:01:16

【问题描述】：

我正在调试一个 spark 应用程序in local mode。是否可以禁用超时以避免在调试会话中间发生火花崩溃，而不会产生不利影响？

您建议更改哪些与超时相关的参数以避免各种超时而不会完全崩溃火花？

目前我在 IntelliJ 中调试时遇到了这个问题：

后 129006 毫秒

【参考方案1】：

将这两个添加到混合中：

 val spark = SparkSession.builder()
  .config("spark.network.timeout", "10000001")
  .config("spark.executor.heartbeatInterval", "10000000")

【讨论】：

谢谢。这些特定的较大值是被视为无穷大，还是仅按字面解释？

不，它们没有任何特殊含义。