idea下关联spark源码环境（转）

Posted 2020-11-03 moonlight.ml

0.环境：

java 1.8

scala 2.11.8

maven 3.5.0

idea 2017

spark 2.2.0

1完成以下配置

java环境变量

scala环境变量

maven setting配置文件jar包存放路径

idea下载scala plugins语言插件

idea配置maven setting及jar包存放路径

spark git :https://github.com/apache/spark.git

2编译spark源码

进入目录$spark_home

配置maven内存大小，或者在maven配置文件中配置（$maven_home/bin/mvn）

exportMAVEN_OPTS="-Xmx2g -XX:ReservedCodeCacheSize=512m"

打包spark源码

./build/mvn-Pyarn -Phadoop-2.4 -Dhadoop.version=2.4.0 -DskipTests clean package

3 debug调试配置

1）加载所有jars

idea =>file => project structure=> libraries => add java =>$spark_home/assembly/target/scala-2.11/jars =>all project

 

 

2）debug配置

idea=>run =>run config =>

 

 

随着git代码更新到本地，打包代码与debug代码 不一致，把下面的 build 删除即可。

 

 

 

3）打断点

4）debug调试

 

 

作者：HxLiang
链接：https://www.jianshu.com/p/491d019eb9b6
來源：简书
著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。