独一无二 hortonworks spark 源码编译教程

Posted 2020-11-18 yuanyifei1

tags:

篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了独一无二 hortonworks spark 源码编译教程相关的知识，希望对你有一定的参考价值。

hortonworks的源码在github上能找到！

https://github.com/hortonworks/spark2-release

找到对应版本release源码后下载到本地

使用ubuntu进行编译，必须在unix下面编译

spark项目使用了hortonworks的私人远程库！

地址:http://nexus-private.hortonworks.com/nexus/content/groups/public

编译工具是maven，仓库配置方法：打开spark项目根目录下pom.xml,找到repositories节点，添加

<repository>
<id>public</id>
<url>http://nexus-private.hortonworks.com/nexus/content/groups/public</url>
</repository>

调用./build/mvn -DskipTests clean package 开始编译

以上是关于独一无二 hortonworks spark 源码编译教程的主要内容，如果未能解决你的问题，请参考以下文章