当两个应用程序同时访问一个localspark会话实例时发生错误。调用o2402.defaultParallelism

Posted 2021-03-27

时发生错误

在我的情况下，两个应用程序同时尝试访问相同的spark上下文。但是在某些情况下，由于火花上下文已停止，因此出现了defaultParallelism错误。

错误堆栈跟踪：

py4j.protocol.Py4JJavaError: An error occurred while calling o2402.defaultParallelism.

: java.lang.IllegalStateException: Cannot call methods on a stopped SparkContext.
This stopped SparkContext was created at:

org.apache.spark.api.java.JavaSparkContext.<init>(JavaSparkContext.scala:58)
sun.reflect.NativeConstructorAccessorImpl.newInstance0(Native Method)
sun.reflect.NativeConstructorAccessorImpl.newInstance(NativeConstructorAccessorImpl.java:62)
sun.reflect.DelegatingConstructorAccessorImpl.newInstance(DelegatingConstructorAccessorImpl.java:45)
java.lang.reflect.Constructor.newInstance(Constructor.java:423)
py4j.reflection.MethodInvoker.invoke(MethodInvoker.java:247)
py4j.reflection.ReflectionEngine.invoke(ReflectionEngine.java:357)
py4j.Gateway.invoke(Gateway.java:238)
py4j.commands.ConstructorCommand.invokeConstructor(ConstructorCommand.java:80)
py4j.commands.ConstructorCommand.execute(ConstructorCommand.java:69)
py4j.GatewayConnection.run(GatewayConnection.java:238)
java.lang.Thread.run(Thread.java:745)

The currently active SparkContext was created at:

(No active SparkContext.)

    at org.apache.spark.SparkContext.assertNotStopped(SparkContext.scala:100)
    at org.apache.spark.SparkContext.defaultParallelism(SparkContext.scala:2359)
    at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
    at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:62)
    at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
    at java.lang.reflect.Method.invoke(Method.java:498)
    at py4j.reflection.MethodInvoker.invoke(MethodInvoker.java:244)
    at py4j.reflection.ReflectionEngine.invoke(ReflectionEngine.java:357)
    at py4j.Gateway.invoke(Gateway.java:282)
    at py4j.commands.AbstractCommand.invokeMethod(AbstractCommand.java:132)
    at py4j.commands.CallCommand.execute(CallCommand.java:79)
    at py4j.GatewayConnection.run(GatewayConnection.java:238)
    at java.lang.Thread.run(Thread.java:745)```

答案

原因：在应用程序结束之前停止spark上下文。

说明：

让我们考虑两个应用程序正在尝试访问spark上下文（并行过程）。

• 最初在t = 0时，应用程序1启动spark上下文和过程正在进行中
• 在t = 1时，应用程序2启动，它也使用相同的火花上下文。
• 在t = 3时，应用程序1完成，它杀死了本地它创建的火花上下文。
• 在t = 4时，应用程序2仍在运行，并且尝试访问终止的火花上下文，因此它引发了以上错误，并且申请已终止

解决方案：在两个应用程序都完成之前，请勿杀死spark上下文。