Exception in Spark

Posted Alamps 沁园春

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了Exception in Spark相关的知识,希望对你有一定的参考价值。

1: Exception in thread "main" org.apache.spark.SparkException: [email protected] has not been initialized

原因: StreamingContext.checkpoint(...)指定的checkpoint目录下有另一个application生成的checkpoint文件, 导致StreamContext.getOrCreate时加载checkpoint失败, StreamingContext初始化失败
解决方案: 删除该checkpoint目录或换一个目录进行checkpoint。 对于重新编译的Application, checkpoint目录下必须没有其他application生成的checkpoint文件


 

以上是关于Exception in Spark的主要内容,如果未能解决你的问题,请参考以下文章

Spark - ERROR Executor: Exception in tjava.lang.OutOfMemoryError: unable to create new native thread

Spark的WordCount操作过程中出现Exception in thread “main“ java.lang.ArrayIndexOutOfBoundsException: 10582问题

idea中使用scala运行spark出现Exception in thread "main" java.lang.NoClassDefFoundError: scala/coll

Exception in thread "main" java.lang.UnsatisfiedLinkError: Unable to load library 'dll

Getting NullPointerException when running Spark Code in Zeppelin

[未解决问题记录]python asyncio+aiohttp出现Exception ignored:RuntimeError('Event loop is closed')(代码片段