Spark-1.X编译构建及配置安装

Posted 2020-10-30 小宁哥

前提条件（环境要求）

　　jdk版本：1.7+

　　scala版本：1.10.4+

　　maven版本：3.3.3+

本博客中使用的软件版本

　　spark版本：spark-1.6.1.tar.gz（源码）　　

　　jdk版本：jdk-8u151-linux-x64.tar.gz

　　maven版本：apache-maven-3.3.9.tar.gz

　　scala版本：scala-2.10.4.tgz

以上软件都可以到官网下载

本文章约束两个目录

　　/opt/softwares 安装包

　　/opt/modules 安装的目录

编译方式：

　　打包编译make-distribution.sh

一、环境配置

1、将spark、jdk、maven、scala软件包上传到Linux系统指定的目录：/opt/softwares/

2、maven安装与配置

tar -zxvf apache-maven-3.3.9.tar.gz -C /opt/modules 

在/etc/profile配置文件中最底部配置以下信息

#MAVEN#
export MAVEN_HOME=/opt/modules/apache-maven-3.3.9
export PATH=$PATH:$MAVEN_HOME/bin

3 、java安装与配置

tar -zxvf jdk-8u151-linux-x64.tar.gz -C /opt/modules 

在/etc/profile配置文件中最底部配置以下信息

#JAVA_HOME#
export JAVA_HOME=/opt/modules/jdk1.8.0_151
export CLASSPATH=.:$JAVA_HOME/jre/lib/rt.jar:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
export PATH=$PATH:$JAVA_HOME/bin

4、scala安装与配置

tar -zxvf scala-2.10.4.tgz -C /opt/modules 

在/etc/profile配置文件中最底部配置以下信息

#scala#
export SCALA_HOME=/opt/modules/scala-2.10.4
export PATH=$PATH:$SCALA_HOME/bin

5、maven仓库配置

将repository-1.6.1.zip解压到~/.m2文件夹中

6、解压spark源码包

tar -zxvf spark-1.6.1.tar.gz -C /opt/modules

7、修改make-distribution.sh文件内容（在/opt/modules/spark-1.6.1目录中）

在129行添加以下内容

VERSION=1.6.1
SCALA_VERSION=2.10.4
SPARK_HADOOP_VERSION=2.5.0-cdh5.3.6
SPARK_HIVE=1

note：

　　SCALA_VERSION配置上你的scala的版本， 可能是2.10.x 或者2.11.x
　　SPARK_HADOOP_VERSION配置上你的hadoop版本
　　SPARK_HIVE 1表示需要将hive的打包进去， 非1数字表示不打包hive

 

8、修改pom.xml文件 （在/opt/modules/spark-1.6.1目录中）

在166行  scala版本修改成你对应的版本  我这里是修改成 2.10.4

在2522行  scala版本修改成你对应的版本  我这里是修改成 2.10.4

 

 9、添加依赖服务文件

前提：使用的scala版本是2.10.4，pom.xml文件中也进行了修改
复制scala-2.10.4.tgz和zinc-0.3.5.3.tgz到spark根目录的build文件夹中， 并解压

10、编译spark

在spark目录中执行命令

./make-distribution.sh --tgz \\
-Phadoop-2.4 \\
-Dhadoop.version=2.5.0-cdh5.3.6 \\
-Pyarn \\
-Phive -Phive-thriftserver

11、最终spark编译成功标志

12、需要注意的几点

1）如果maven不是国内的镜像下载会比较慢 ，建议改成国内镜像

配置镜像（修改settings.xml文件）

<mirror>
<id>aliyun</id>
<mirrorOf>central</mirrorOf>
<name>aliyun repository</name>
<url>http://maven.aliyun.com/nexus/content/groups/public/</url>
</mirror>
<mirror> <!– cdh 版本编译 可选指定-->
<id>cloudera</id>
<mirrorOf>central</mirrorOf>
<name>cloudera repository</name>
<url>https://repository.cloudera.com/artifactory/cloudera-repos/</url>
</mirror>

2）配置域名解析服务器

# vi /etc/resolv.conf
内容：
nameserver 8.8.8.8
nameserver 8.8.4.4

3）编译可能出现的问题

在编译的过程中，可能卡死，然后不进行编译的情况出现，如果超过十分钟没有动静的话，可以考虑是否是编译出现问题。问题出现

原因是：网络不好、机器内存不够、其他原因。解决方案：
1. 关闭编译的进程。直接退出当前会话，然后从新进入在编译。
2. 添加虚拟机内存(最好4G+)，重启虚拟机再编译