使用Intellij加载Spark源代码

Posted 2020-08-23 南国故人

Intellij 加载 spark 源码

如何使用Intellij加载Spark源代码

转载注明原文http://www.cnblogs.com/shenh062326/p/6189643.html

查看Spark源代码或修改Spark源代码，都需要一个合适的IDE编辑器，而Spark源码编辑器首推Intellij，

但如果使用Intellij加载Spark源码方式不对，则会出现大量红点点，如下图所示，而且很多代码无法完成跳转，今天我就给大家介绍一下如何使用Intellij加载Spark源代码。

使用Intellij加载Spark代码

1. 首先下载Spark代码。

2. 使用mvn编译mvn -Pyarn -Dhadoop.version=2.6.0 -Dyarn.version=2.6.0 -DskipTests -Phive compile

3. 编译成功后打开Intellij，选择File->New->Project from Existing Sources。

 4. 选择项目目录后选择Import project from external model->maven。

5. 选择next后，在Import Project窗口中加上几个需要引入的项目，如下图。

6．之后一直选择next即可，打开项目后需要等待一段时间建立Index。

7．完成后的效果如下图，可以打开所有依赖的jar和class，Intellij就不会再出现大量红点点啦！

 

这样就能开心的码代码了。