大数据之----部署安装编译打包hadoop终极篇
Posted
tags:
篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了大数据之----部署安装编译打包hadoop终极篇相关的知识，希望对你有一定的参考价值。
------------------------------软件版本--------------------------------------
RHEL6.8 hadoop2.8.1 apache-maven-3.3.9 ? ? ? findbugs-1.3.9 protobuf-2.5.0.tar.gz jdk-8u45
------------------------------软件版本---------------------------------------
大数据概述 可以用“5V + 1C”来概括：
Variety 多样化 Volume 海量 Velocity 快速 Vitality 灵活 Value 价值性 Complexity 复杂
1.Hadoop生态
宏观: Hadoop为主的生态圈 hadoop flume........
狭义: apache hadoop? hadoop.apache.org
2.Hadoop(存储+计算+资源和作业调度)
hadoop1.x??
??? HDFS????? 存储
??? MapReduce 计算+资源和作业调度
hadoop2.x? 企业正在用
??? HDFS????? 存储
??? MapReduce 计算
??? YARN????? 资源和作业调度平台 计算组件都会on yarn
hadoop3.x? ???
- EC技术：Erasure Encoding 简称EC，是Hadoop3给HDFS拓展的一种新特性，用来解决存储空间文件。
- YARN：提供YARN的时间轴服务V.2，以便用户和开发人员可以对其进行测试，并提供反馈意见。
- 优化Hadoop Shell脚本
- 重构Hadoop Client Jar包
- 支持随机Container
- MapReduce任务级本地优化
- 支持多个NameNode
- 部分默认服务端口被改变
- 支持文件系统连接器
- DataNode内部添加了负载均衡
- 重构后台程序和任务对管理
2.Maven部署
blog
2.1解压
| [[email protected] softwore]# pwd --配置环境变量 [[email protected] softwore]# vi /etc/profile [[email protected] softwore]# source /etc/profile |
Maven部署为二进制部署，解压配置环境变量
2.2配置mavne目录
2.3查看配置文件和 解压我们准备好的仓库文件
3.Hadoop编译
编译hadoop 通过Requirements我看可以知道需要安装jdk maven findbugs protocolBuffer cmake Zlib openssl-devel 等软件
3.1解压
3.2查看pom.xml
3.3查看BUILDING.txt
Requirements:编译软件环境要求
* Unix System
* JDK 1.7+
* Maven 3.0 or later
* Findbugs 1.3.9 (if running findbugs)
* ProtocolBuffer 2.5.0
* CMake 2.6 or newer (if compiling native code), must be 3.0 or newer on Mac
* Zlib devel (if compiling native code)
* openssl devel (if compiling native hadoop-pipes and to get the best HDFS encryption performance)
* Linux FUSE (Filesystem in Userspace) version 2.6 or above (if compiling fuse_dfs)
* Internet connection for first build (to fetch all Maven and Hadoop dependencies)
3.4 JDK部署
| [[email protected] softwore]# tar -zxvf jdk-8u45-linux-x64.gz??? -C /usr/java[[email protected] softwore]# ls -ld /usr/java/* drwxr-xr-x 8 root root 4096 12月 15 2016 /usr/java/djdk1.7.0_79 drwxr-xr-x 8 uucp? 143 4096 4月? 11 2015 /usr/java/jdk1.8.0_45 drwxr-xr-x 8 uucp? 143 4096 10月? 7 2015 /usr/java/jdk1.8.0_65 [[email protected] softwore]# vim /etc/profile export JAVA_HOME=/usr/java/jdk1.8.0_45 [[email protected] softwore]# source /etc/profile |
二进制版本解压，配置环境变量即可
3.5 MAVEN
上面我们已经安装maven和jdk检测版本是否满足我们编译软件要求
[[email protected] softwore]# mvn --version
Apache Maven 3.3.9 (bb52d8502b132ec0a5a3f4c09453c07478323dc5; 2015-11-11T00:41:47+08:00)
Maven home: /opt/software/apache-maven-3.3.9
Java version: 1.8.0_45, vendor: Oracle Corporation
Java home: /usr/java/jdk1.8.0_45/jre
Default locale: en_US, platform encoding: UTF-8
OS name: "linux", version: "2.6.32-431.el6.x86_64", arch: "amd64", family: "unix"
[[email protected] softwore]#
3.6 FINDBUGS
| [[email protected] softwore]#? unzip findbugs-1.3.9.zip |
二进制安装解压，配置环境变量即可
3.7 PROTOCBUF编译安装
| [[email protected] software]# tar xvf? protobuf-2.5.0.tar.gz [[email protected] yum.repos.d]# yum install -y gcc gcc-c++ make cmake?? ---编译环境 [[email protected] yum.repos.d]#cd /opt/software/protobuf-2.5.0 [[email protected] protobuf-2.5.0]# ./configure --prefix=/usr/local/protobuf [[email protected] protobuf-2.5.0]# make && make install [[email protected] protobuf-2.5.0]# vim /etc/profile export PROTOC_HOME=/usr/local/protobuf export PATH=$PROTOC_HOME/bin:$FINDBUGS_HOME/bin:$MAVEN_HOME/bin:$JAVA_HOME/bin:$PATH [[email protected] software]# source /etc/profile [[email protected] software]# protoc --version libprotoc 2.5.0 [[email protected] local]# |
3.8 OTHER 依赖包
| yum install -y openssl openssl-devel svn ncurses-devel zlib-devel libtool |
其他依赖包在系统安装ios都包含，执行yum安装即可
---------------------------------------------------------------------------------------------------------------------------------------
至此，编译hadoop需要的编译环境全部准备好，下面开启编译之路
---------------------------------------------------------------------------------------------------------------------------------------
3.9 编译
?
| [[email protected] software]# tar xvf hadoop-2.8.1-src.tar.gz /opt/software/hadoop-2.8.1-src/hadoop-dist/target/hadoop-2.8.1.tar.gz ----编译好软件包保存位置 |
直接编译需要联网找依赖包，一般网络情况较好，需要几个小时
?
提前准备好依赖包编译方式
| [[email protected] software]# tar xvf hadoop-2.8.1-src.tar.gz [[email protected] hadoop-2.8.1-src]# pwd -rw-r--r--?? 1 root?? root? 96721446 4月? 25 09:57 .m2.tar.gz?? ---提前下好的仓库软件包 [[email protected] software]#tar xvf .m2.tar.gz –C /root?? ---不想download，使用提前准备好的仓库软件--->解压----->root家目录 [[email protected] hadoop-2.8.1-src]# mvn clean package -Pdist,native -DskipTests –Dtar …….. [INFO] Apache Hadoop Azure support ........................ SUCCESS [? 5.562 s] [[email protected] hadoop-2.8.1-src]# 编译成功后的软件保存路径 [[email protected] hadoop-2.8.1-src]# ls /opt/software/hadoop-2.8.1-src/hadoop-dist/target/hadoop-*
|
?
总结：完成源码的编译好打包，得到安装hadoop安装包，难点在于软件包的装备和仓库软件的准备，接下来准备开始hadoop安装之路。
以上是关于大数据之----部署安装编译打包hadoop终极篇的主要内容，如果未能解决你的问题，请参考以下文章
大数据之---hadoop伪分布式部署(HDFS)全网终极篇