如何暂停 Spark 集群上的作业以及如何恢复它?

Posted

技术标签:

【中文标题】如何暂停 Spark 集群上的作业以及如何恢复它?【英文标题】:how to suspend a job on a Spark cluster and how to resumne it? 【发布时间】:2018-11-09 00:41:49 【问题描述】:

我在 Spark 集群上运行一个作业,它占用了服务器的大部分资源,但是现在我想暂停该作业,以便另一个程序可以更快地运行,稍后再恢复该作业,但我不知道如何去做吧。

【问题讨论】:

【参考方案1】:

我不认为您可以暂停工作并稍后恢复

【讨论】:

以上是关于如何暂停 Spark 集群上的作业以及如何恢复它?的主要内容,如果未能解决你的问题,请参考以下文章

暂停 Dataproc 集群 - Google 计算引擎

AWS 上 DC/OS 集群上的 Spark 作业

如何从 Lambda 函数在亚马逊 EMR 上执行 spark 提交?

如何暂停所有 jQuery 动画?

在 HDIinsight 集群上运行 spark 作业时如何解决此致命错误?会话 681 意外地达到了“死亡”的最终状态。查看日志:

如何使用 spring-kafka 暂停和恢复 @KafkaListener