spark 关联source

Posted 2020-10-13 Alamps 沁园春

 

IDEA就自动把jar包中的字节码反编译为Java源码，并且，我们可以直接下个断点调试程序，但是对于Scala，IDEA的反编译效果并不是很好，如下图所示：

2）提示“Source not found”，我们在看textFile()方法，只可以看到方法的参数列表，方法体的内容却看不到，只能看到“compiled code”也就是“编译后的代码”。解决方法如下：

a.下载 源码   eg: https://archive.apache.org/dist/spark/spark-2.0.2/

b.然后点击右上角的“Attach Source”，添加源码，如下所示：

     添加路径是“spark1.4.0/core/src/main/scala/org”，然后点击OK确定。“Attching”完成之后，我们就可以看到textFile()的方法体了，并且可以像之前调试hadoop一样，在这个方法下断点，运行程序的时候，会在这里命中断点，如下所示(这里只是加了个断点，没有调试)：