在spark中遇到了奇怪的错误,找到了奇怪的解决方法
Posted ZHOU YANG
tags:
篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了在spark中遇到了奇怪的错误,找到了奇怪的解决方法相关的知识,希望对你有一定的参考价值。
这两天一直在写spark程序,遇到了一个奇怪的问题。
问题简单描述如下,有两个RDD,设为rdd_a,rdd_b,当将这两个rdd合并的时候,spark会在运行中卡死。
解决方式也是奇葩。
只要在合并这两个rdd之前,分别执行rdd_a.count(),rdd_b.count(),程序就又能够愉快的走下去了。
参考:
以上是关于在spark中遇到了奇怪的错误,找到了奇怪的解决方法的主要内容,如果未能解决你的问题,请参考以下文章