Exception in Spark

Posted Alamps 沁园春

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了Exception in Spark相关的知识,希望对你有一定的参考价值。

1: Exception in thread "main" org.apache.spark.SparkException: [email protected] has not been initialized

原因: StreamingContext.checkpoint(...)指定的checkpoint目录下有另一个application生成的checkpoint文件, 导致StreamContext.getOrCreate时加载checkpoint失败, StreamingContext初始化失败
解决方案: 删除该checkpoint目录或换一个目录进行checkpoint。 对于重新编译的Application, checkpoint目录下必须没有其他application生成的checkpoint文件


 

以上是关于Exception in Spark的主要内容,如果未能解决你的问题,请参考以下文章