在spark中遇到了奇怪的错误,找到了奇怪的解决方法

Posted ZHOU YANG

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了在spark中遇到了奇怪的错误,找到了奇怪的解决方法相关的知识,希望对你有一定的参考价值。

  这两天一直在写spark程序,遇到了一个奇怪的问题。

  问题简单描述如下,有两个RDD,设为rdd_a,rdd_b,当将这两个rdd合并的时候,spark会在运行中卡死。

  解决方式也是奇葩。

  只要在合并这两个rdd之前,分别执行rdd_a.count(),rdd_b.count(),程序就又能够愉快的走下去了。

  参考:

  stackOverFlow

 

以上是关于在spark中遇到了奇怪的错误,找到了奇怪的解决方法的主要内容,如果未能解决你的问题,请参考以下文章

一个奇怪的颤振错误,我不知道如何解决

我在 onAttach(Context) 中遇到了这个奇怪的错误

Linux升级openssl时遇到的奇怪错误

我在运行时遇到了一种奇怪的错误

奇怪的错误:未捕获的TypeError:非法调用ajax

运行 maven 站点的奇怪问题(处理 POM 时遇到问题)