hadoop源码编译(基于hdp2.6.1.0)
Posted pddHadoop
tags:
篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了hadoop源码编译(基于hdp2.6.1.0)相关的知识，希望对你有一定的参考价值。
1、从git上clone代码到idea(后面编译可以走Jenkins，或者切到自己的分支下编译)
2、按照hadoop下的buliding.txt文件安装相关的依赖和库
3、修改pb的版本(可能需要修改的步骤，若pb是2.5.0跳过这一步骤)
确定下linux 版本，在我们的虚拟机版本下被安装了pb，且pb版本不是2.5.0
此时需要修改pb的版本，安装源码方式安装即可，相关链接：https://my.oschina.net/allman90/blog/486768
具体步骤:
wget https://github.com/google/protobuf/releases/download/v2.5.0/protobuf-2.5.0.tar.gz
tar -xzvf ./protobuf-2.5.0.tar.gz
cd protobuf-2.5.0
./configure
sudo su - （备注：切换到root下）
make
make install
4、替换 之前版本的protoc
在编译的proto包下，找到编译好的protoc，位置一般是在./protobuf-2.5.0/src/protoc，替换原先自带的protoc
替换下面两处原先的protoc即可
查看pb 版本:
5、编译hadoop源码
编译命令:mvn package -Pdist -DskipTests -Dzookeeper.version=3.4.6 -Djetty.version=6.1.26 -Dtar
编译成功界面:
以上是关于hadoop源码编译(基于hdp2.6.1.0)的主要内容，如果未能解决你的问题，请参考以下文章