hadoop源码编译

Posted 2020-12-12 阿布都日

1. 前期准备
   1. 可以正常联网
   2. jar包准备
      1. hadoop-xxx-src.tar.gz
      2. jdk-xxx-xxx-tar.gz
      3. apache-ant-xxx-bin.tar.gz
      4. apache-maven-xxx-bin.tar.gz
      5. protobuf-xxx.tar.gz
2. jar包安装
   1. jdk安装到module配置JAVA_HOME和PATH
   2. maven安装到module配置MAVEN_HOME和PATH
   3. ant安装到module配置ANT_HOME和PATH
   4. 安装make ：yum install make
   5. 安装cmake：yum install cmake
   6. 安装protobuf（解压到module目录，./configure ，make，make check，make install，ldconfig）配置LD_LIBRARY=protubuf的主目录和PATH=$LD_LIBRARY_PATH
   7. software目录安装openssl库:yum install open-ssl-devel
   8. software目录安装ncurses库:yum install ncurses-devel
3. 编译源码
   1. 解压hadoop-xxx-src.tar.gz到/opt目录
   2. 进入到hadoop源码目录
   3. 执行编译命令 :mvn package -Pdist,native -DskipTests -Dtar
   4. 编译结果：/opt/hadoop-xxx-src/hadoop-dist/target
4. 问题解决
   1. MAVEN install时候内存溢出 ：JVM调优heap
   2. MAVEN编译期间报错：多次执行mvn package -Pdist,nativeN -DskipTests -Dtar
   3. 版本问题：xxx