Hadoop2.x系列之源码编译

Posted 2020-10-13 傲气雄鹰

一、编译源码步骤演示详解

需求：官网下载的hadoop包，执行hadoop命令时，会有警告信息，为去除此警告，需要重新编译hadoop相应版本的源码，替换hadoop安装包lib目录下的native(警告如下图所示)

. 编译hadoop环境要求

1、必须在linux系统下编译（以centos6.4为例）

2、编译使用的JDK版本必须是1.6以上

3、编译需要使用Maven版本3.0以上（因为源码是由Maven管理的）

4、安装Findbugs插件工具，版本1.3.9

5、安装CMake编译工具，版本2.6或最新版本

6、安装zlib devel

7、安装openssl devel

8、编译时必须连接互联网

 

===================================  编译开始   ===================================

第一步：解压hadoop源码安装包：版本以hadoop-2.7.3-src.tar.gz为例，解压之前需在此链接中下载2.7.3版本的源码包(https://archive.apache.org/dist/hadoop/common/hadoop-2.7.3/)

 

 第二步：配置JDK, 并使profile文件生效，版本：1.8  （必须得有root权限）

 

 

 

 第三步：配置Maven，并使profile文件生效， （必须得有root权限）

 第四步：安装gcc/gcc-c++/make工具，（必须得有root权限）

 

 第五步：解压安装protobuf工具，此包提供下载链接：http://pan.baidu.com/s/1kUK5HHH

 

 第六步：配置protobuf环境变量

 

 第七步：下载安装CMake、openssl-devel、ncurses-devel依赖包

 第八步：开始编译hadoop源码包，先移动到hadoop源码安装目录下

 

编译成功！整个过程大约需要等待20~30分钟，如下图

 

  第九步：替换原来的native目录，执行命令查看下，不再提示警告，编译好的文件在源码安装包的hadoop-dist目录下，具体目录替换目录如下图所示：

 

===================================  编译结束   ===================================