Hadoop源码编译

Posted 2020-10-05 凯心大宝牙

下载软件
1:jdk 安装:

2:安装maven http://maven.apache.org/download.cgi 安装需求下载需要版本人下载3.5.0
解压: tar -zxvf apache-maven-3.5.0-bin.tar.gz 到

 

配置maven环境变量

 

mvn -version 验证maven是否安装成功。
为了提高 编译速度 修改 maven源为阿里云源
对 maven setting.xml文件作如下修改
<mirrors>
<mirror>
<id>nexus-aliyun</id>
<mirrorOf>*</mirrorOf>
<name>Nexus aliyun</name>
<url>http://maven.aliyun.com/nexus/content/groups/public</url>
</mirror>
</mirrors>

3:安装依赖库
sudo apt-get install g++ autoconf automake libtool cmake zlib1g-dev pkg-config libssl-dev

安装protobuf
cd protobuf-2.5.0

 

 

配置环境变量
protoc --version 检验是否安装成功
4:编译 Hadoop
hadoop源代码下载
http://hadoop.apache.org/releases.html#Download

解压 tar包tar -zxvf hadoop-2.7.4-src.tar.gz
cd hadoop-2.7.4-src
执行命令
mvn clean package -Pdist,native -DskipTests -Dtar
看到如下结果编译已完成。

 

2编译失败,则要先清理maven(使用命令 mvn clean) 再重新编译。