从检查点重新启动后，Spark 流选项卡消失

Posted 2023-04-18

【中文标题】从检查点重新启动后，Spark 流选项卡消失

【英文标题】：Spark streaming tab disappears after restarting from checkpoint

【发布时间】：2016-04-18 11:34:33

【问题描述】：

我有一个 Spark Streaming 作业在检查点到 S3 的集群 (Spark 1.6) 上运行。当我最初开始工作时，我可以看到“流媒体”选项卡。但是，当我从检查点重新启动作业时，Streaming 选项卡会消失。该作业仍然作为流作业工作，我看到批次以配置的批次间隔出现。见下文。

如果我清除检查点数据，选项卡会返回。我怀疑从检查点重新启动时未正确注册 Streaming 选项卡。

我查看了Spark Streaming code。从检查点反序列化应用程序状态时，是否可能不调用此流程？

有谁知道如何解决这个问题？

【参考方案1】：

如果我清除检查点数据，选项卡会返回。我怀疑 从 检查点。

它被调用，但流选项卡在完成从 S3 检查点位置加载所有数据之前不会出现。如果您的血统很长，则可能需要一些时间来加载。从检查点恢复所有数据后，您会看到流选项卡出现。

【讨论】：

在我的应用程序中，我没有使用检查点。但流选项卡不可见。 ***.com/questions/49641184/…