安装高可用Hadoop生态 (一 ) 准备环境

Posted 范振勇

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了安装高可用Hadoop生态 (一 ) 准备环境相关的知识,希望对你有一定的参考价值。

为了学习Hadoop生态的部署和调优技术,在笔记本上的3台虚拟机部署Hadoop集群环境,要求保证HA,即主要服务没有单点故障,能够执行最基本功能,完成小内存模式的参数调整。

1.    准备环境

1.1. 规划

  • 克隆3台服务器,主机名和IP如下

主机名

IP

软件

hadoop

192.168.154.128

原始虚拟机用于克隆

hadoop1

192.168.154.3

Zookeeper,journalnode Namenode, zkfc, Resourcemanager

hadoop2

192.168.154.4

Zookeeper,journalnode Namenode, zkfc, Resourcemanager, DataNode,NodeManager

hadoop3

192.168.154.5

Zookeeper,journalnode DataNode,NodeManager

  • 设置每台服务器的域名解析
vi /etc/hosts
127.0.0.1    localhost localhost.localdomain localhost4 localhost4.localdomain4
::1         localhost localhost.localdomain localhost6 localhost6.localdomain6

192.168.154.3 hadoop1[1] 192.168.154.4 hadoop2 192.168.154.5 hadoop3

1.2. 准备软件包

名称

描述

ssh_auth

设置互信的工具包

C3

集群管理效率工具,在集群范围执行shell命令

hadoop-2.7.3.tar.gz

hadoop安装包

zookeeper-3.4.9.tar.gz

zookeeper安装包

1.3. 设置互信

采用设置互信的工具,解压文件到目录

vi ./host
hadoop1
hadoop2
hadoop3

执行命令

./ssh_auth.sh hadoop hadoop ./host

验证:在hadoop1,hadoop2,hadoop3上分别登录三台机器,如果无需密码进入则正常

ssh hadoop1 
exit

ssh hadoop2
exit

ssh hadoop3
exit

为了操作简单,也设置root用户的互信

./ssh_auth.sh root xxxxxx ./host

xxxxxx为root用户的密码

1.4. 安装C3

    C3是Cluster Command & Control (C3) Tool Suite,是集群管理的效率工具,用于在集群服务器上通过ssh并行或者串行执行相同的命令。在Centos7上安装报告与filesystem-3.2-20.el7.x86_64冲突,所以需要强行安装,命令如下:    

rpm -i c3-5.1.3-0.1.noarch.rpm --nodeps --force

    安装完成后,在使用C3的节点创建/etc/c3.conf文件。内容如下:

cluster cloud {
        hadoop1:127.0.0.1 #head node
        dead remove-index-00
        hadoop1
        hadoop2
        hadoop3
}

验证:切换回hadoop用户,执行cexec date

************************* cloud *************************
--------- hadoop1---------
××××××××××
--------- hadoop2---------
××××××××××
--------- hadoop3---------
××××××××××

1.5. 创建目标目录

切换到root用户 (用su -,使得root的环境变量起作用)

cexec mkdir -p /opt/cloud
cexec chown hadoop:hadoop /opt/cloud

切换到hadoop用户

#软件包的安装(解压缩的目标)目录
cexec mkdir -p /opt/cloud/packages

#执行目录,是与安装包目录的软连接
cexec mkdir -p /opt/cloud/bin

#配置文件目录,是与安装包目录中配置文件目录的软连接
cexec mkdir -p /opt/cloud/etc

#数据目录
cexec mkdir -p /opt/cloud/data

#日志目录
cexec mkdir -p /opt/cloud/logs

1.6. 配置Java环境

vi ~/.bashrc

增加

export JAVA_HOME=/usr/lib/jvm/java
export JRE_HOME=${JAVA_HOME}/jre
export CLASSPATH=.:$JRE_HOME/lib/rt.jar:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
export PATH=$JAVA_HOME/bin:$PATH

即刻生效

source ~/.bashrc

复制到另外两台服务器

scp ~/.bashrc hadoop2:/home/hadoop
scp ~/.bashrc hadoop3:/home/hadoop


[1] 增加 hadoop1 hadoop2的ip映射





以上是关于安装高可用Hadoop生态 (一 ) 准备环境的主要内容,如果未能解决你的问题,请参考以下文章

Hadoop HA高可用搭建流程

基于Hadoop生态的相关框架与组件的搭建

大数据必知必会:Hadoop高可用集群安装

Hadoop2.0高可用集群搭建保姆级教程

搭建HA高可用hadoop-2.3(部署配置HBase)

Hadoop HA高可用搭建流程