Apache Spark 启动多个 SparkContext 实例

Posted 2023-04-18

【中文标题】Apache Spark 启动多个 SparkContext 实例

【英文标题】：Apache Spark Start multiple SparkContext instances

【发布时间】：2015-04-30 13:25:41

【问题描述】：

我想知道如何在同一个应用程序中创建多个 SparkContext 实例。现在，弹出以下消息：org.apache.spark.SparkException

是否可以在同一个应用程序中运行多个 SparkContext 实例？

【参考方案1】：

是的，可以使用以下配置：

spark.driver.allowMultipleContexts=true

参考：Support multiple SparkContexts in the same JVM

【讨论】：

@user2602577如果您认为它对您有帮助，请通过单击我的答案左侧的勾号来选择它。

您的用例是什么？通常，这不是解决问题的正确方法