Databricks 在没有进展的情况下激发工作

Posted 2023-04-15

【中文标题】Databricks 在没有进展的情况下激发工作

【英文标题】：Databricks spark job without progress

【发布时间】：2020-09-15 15:00:50

【问题描述】：

嗯，我正在尝试在 Databricks 集群上运行使用 Spark 的作业。

有时它没有任何进展并且一直运行而没有任何错误，集群会无限期地运行，请查看以下日志。我已经意识到当集群中有 0 个工作人员时可能会发生这种情况。但在这种情况下，我尝试使用 3 个工作节点运行，并遇到同样的问题。

OpenJDK 64-Bit Server VM warning: ignoring option MaxPermSize=512m; support was removed in 8.0
Warning: Ignoring non-Spark config property: eventLog.rolloverIntervalSeconds
Setting default log level to "WARN".
To adjust logging level use sc.setLogLevel(newLevel). For SparkR, use setLogLevel(newLevel).

[Stage 0:>                                                          (0 + 0) / 1]
[Stage 0:>                                                          (0 + 0) / 1]
[Stage 0:>                                                          (0 + 0) / 1]
[Stage 0:>                                                          (0 + 0) / 1]
[Stage 0:>                                                          (0 + 0) / 1]
[Stage 0:>                                                          (0 + 0) / 1]
[Stage 0:>                                                          (0 + 0) / 1]

你知道它是什么吗？

【参考方案1】：

解决方案是从我的 spark 初始化程序中删除以下配置。

.config('spark.driver.host', '127.0.0.1')