虚拟机centos7系统下安装hadoop ha和yarn ha(详细)

Posted 天生一对

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了虚拟机centos7系统下安装hadoop ha和yarn ha(详细)相关的知识,希望对你有一定的参考价值。

一:基础环境准备##

(一):虚拟机新建五个centos7系统(复制文件夹的方式)
(二):角色分配

(三)按照角色分配表配置
(1)更改主机ip(自行查找),如果只是个人搭建玩一玩,可选择安装centos7图形界面操作比较简单
(2)更改主机名方法, vim /etc/hostname文件,修改成对应的主机名,保存(比如在192.168.254.2这台主机上,就修改成master)。再执行hostname 主机名,进行设置。
(3)在五个虚拟机系统中修改/etc/hosts文件,添加如下内容

192.168.254.2  master
192.168.254.3	 master2
192.168.254.4  slave01
192.168.254.5	 slave02
192.168.254.6  slave03

(四)关闭五台虚拟机系统上的防火墙firwall(或者iptable),楼主的还是firewall

关闭: systemctl stop firewalld
开机禁用  : systemctl disable firewalld

(五)配置完成后,五台主机相互ping 主机名(比如ping slave01),看是否可ping通,如果不能检查虚拟机的网络适配器模式(方式多种),楼主选择的是nat方式可参考如下:
(1)进入本机的虚拟网卡8,然后设置其网关为192.168.254.254(和虚拟机里面配置的ip的网关一样,而且虚拟机系统的ip要和本地网卡8的ip在同一个网段)
(六)创建专门的用户

useradd hadoop (创建用户)

passwd hadoop (设置密码,5台机器上的hadoop密码最好设置成一样(容易记),比如hadoop123)

建议将hadoop加入root用户组,操作方法:

先以root身份登录,然后输入

usermod -g root hadoop ,执行完后hadoop即归属于root组了,可以再输入

id hadoop 查看输出验证一下,如果看到类似下面的输出:

uid=502(hadoop) gid=0(root) 组=0(root)

就表示OK了 

(七)配置ssh,免密登录(因为各个主机之间会进行自主通讯,所以必须配置)
(1)首先配置master,
①在master上,生成公钥、私钥对。

以hadoop身份登录到系统
cd (进入个人主目录,默认为/home/hadoop)

ssh-keygen -t rsa -P \'\' (注:最后是二个单引号)

即:以rsa算法,生成公钥、私钥对,-P \'\'表示空密码。该命令运行完后,会在个人主目录下生成.ssh目录,里面会有二个文件id_rsa(私钥) ,id_rsa.pub(公钥)

②导入公钥

cat .ssh/id_rsa.pub >> .ssh/authorized_keys

chmod 600 .ssh/authorized_keys

执行完以后,可以在本机上测试下,用ssh连接自己,即:ssh master。如果不需要输入密码,就连接成功,表示ok,一台机器已经搞定了。

(2)配置其他四台系统,按照如下
①在其他四台上生成公钥、私钥对。

以hadoop身份登录到系统
cd (进入个人主目录,默认为/home/hadoop)

ssh-keygen -t rsa -P \'\' (注:最后是二个单引号)

即:以rsa算法,生成公钥、私钥对,-P \'\'表示空密码。该命令运行完后,会在个人主目录下生成.ssh目录,里面会有二个文件id_rsa(私钥) ,id_rsa.pub(公钥)

②然后用scp命令,把公钥文件发放给master(即:已经配置完成的那台机器)

master2上:

scp  .ssh/id_rsa.pub  hadoop@master:/home/hadoop/id_rsa_01.pub

slave01上:

scp .ssh/id_rsa.pub hadoop@master:/home/hadoop/id_rsa_02.pub

slave02上:

scp .ssh/id_rsa.pub hadoop@master:/home/hadoop/id_rsa_03.pub

slave03上

scp .ssh/id_rsa.pub hadoop@master:/home/hadoop/id_rsa_04.pub

这四台行执行完后,回到master中,查看下/home/hadoop目录,会有四个新文件id_rsa_01.pub、id_rsa_02.pub,id_rsa_03.pub,id_rsa_04.pub 然后在master上,导入这四个公钥

cat id_rsa_01.pub >> .ssh/authorized_keys
cat id_rsa_02.pub >> .ssh/authorized_keys
cat id_rsa_03.pub >> .ssh/authorized_keys
cat id_rsa_04.pub >> .ssh/authorized_keys

这样,master这台机器上,就有所有5台机器的公钥了。

③在master上使用scp把authorized_keys发送给其他四台机器,执行命令如下:

scp .ssh/authorized_keys hadoop@master2:/home/hadoop/.ssh/authorized_keys
scp .ssh/authorized_keys hadoop@slave01:/home/hadoop/.ssh/authorized_keys
scp .ssh/authorized_keys hadoop@slave02:/home/hadoop/.ssh/authorized_keys
scp .ssh/authorized_keys hadoop@slave03:/home/hadoop/.ssh/authorized_keys

④修改其它机器上authorized_keys文件的权限

在其他四台系统上,均执行命令

chmod 600 .ssh/authorized_keys

⑤验证

在每个虚拟机上,均用 ssh 其它机器的hostname 验证下(如在master上ssh slave01),如果能正常无密码连接成功,表示ok

至此基础的环境配置完成,接下来安装需要软件

二:安装jdk1.8##

可自行百度如何安装jdk1.8 也可以参考linux下安装oracle jdk

三:同步所有主机的时间##

如果个人搭建测试(使用虚拟机文件夹复制的方式来创建多台主机的可不用同步),如果不是安装ntpdate进行时间的同步

四:在slave01,slave02,slave03上安装zookeeper3.4.5##

(1)下载zookeeper3.4.5, 下载连接
(2)上传zookeeper-3.4.5.tar.gz至slave01的/home/hadoop/目录下,登陆到slave01上,切换hadoop用户
(3)解压压缩包 tar -zvxf zookeeper-3.4.5.tar.gz
(4)解压后进入该目录,并cd conf 将 zoo_sample.cfg 修改为zoo.cfg,执行命令,mv zoo_sample.cfg zoo.cfg
(5)修改zoo.cfg,执行vim zoo.cfg如下后保存

tickTime=2000
initLimit=5
syncLimit=2
dataDir=/home/hadoop/storage/zookeeper/data
dataLogDir=/home/hadoop/storage/zookeeper/logs
clientPort=2181
server.1=slave01:2888:3888
server.2=slave02:2888:3888
server.3=slave03:2888:3888

(6)创建目录/home/hadoop/storage/zookeeper/data和/home/hadoop/storage/zookeeper/logs目录,mkdir .....
(7)将配置好的zookeeper-3.4.5目录发送到slave02,slave03上

在slave01上执行
scp -r /home/hadoop/zookeeper-3.4.5  hadoop@slave02:/home/hadoop/ 
scp -r /home/hadoop/zookeeper-3.4.5  hadoop@slave03:/home/hadoop/ 

(8)写入id

在slave01上执行
echo \'1\' >  /home/hadoop/storage/zookeeper/data/myid  (这边的1对应的是上面配置的server.1)
在slave02上执行
echo \'2\' >  /home/hadoop/storage/zookeeper/data/myid (这边的2对应的是上面配置的server.2)
在slave03上执行
echo \'3\' >  /home/hadoop/storage/zookeeper/data/myid (这边的3对应的是上面配置的server.3)

(9)验证(分别登录slave01,slave02,slave03启动zookeeper)
①进入/home/hadoop/zookeeper-3.4.5/bin/目录执行 zkServer.sh start
②分别进入三个系统输入jps,查看是否存在QuorumPeerMain进程,如果存在则表示成功(如果jps没有找到命令,则检查java的安装是否成功)

五:安装hadoop2.6.0 ha,yarn ha(只因配合工作环境,版本比较旧)##

(一)首先到master系统上,要切换到hadoop用户
①从网上下载hadoop2.6.0 并上传至master虚拟机/home/hadoop/目录下(如果安装的虚拟机系统是图形界面,可以直接黏贴,复制)
②执行tar -zxvf hadoop-2.6.0.tar.gz 解压hadoop压缩包
(二)修改hadoop配置的五个文件

/home/hadoop/hadoop-2.6.0/hadoop/etc/hadoop/core-site.xml
/home/hadoop/hadoop-2.6.0/hadoop/etc/hadoop/hdfs-site.xml
/home/hadoop/hadoop-2.6.0/hadoop/etc/hadoop/mapred-site.xml(如果没有这个文件,将该目录下名称为mapred-site.xml.template改名为mapred-site.xml)
/home/hadoop/hadoop-2.6.0/hadoop/etc/hadoop/yarn-site.xml
/home/hadoop/hadoop-2.6.0/hadoop/etc/hadoop/slaves

①vim /home/hadoop/hadoop-2.6.0/hadoop/etc/hadoop/core-site.xml

<!-- hdfs://master中的master可以随便取名,但是要和后面的配置一致 -->
<property>
    <name>fs.defaultFS</name>
    <value>hdfs://master</value>
  </property>
 
  <property>
    <name>io.file.buffer.size</name>
    <value>131072</value>
  </property>
 
<!-- 指定hadoop临时目录 -->
  <property>
    <name>hadoop.tmp.dir</name>
    <value>/home/hadoop/storage/hadoop/tmp</value>
    <description>Abase for other temporary directories.</description>
  </property>
 
<!--指定可以在任何IP访问-->
  <property>
    <name>hadoop.proxyuser.hduser.hosts</name>
    <value>*</value>
  </property>
 
<!--指定所有用户可以访问-->
  <property>
    <name>hadoop.proxyuser.hduser.groups</name>
    <value>*</value>
  </property>
 
<!-- 指定zookeeper地址 -->
  <property>
    <name>ha.zookeeper.quorum</name>
    <value>slave01:2181,slave02:2181,slave03:2181</value>
  </property>

②vi /home/hadoop/hadoop/etc/hadoop/hdfs-site.xml

 
<!--指定hdfs的block大小64M -->
  <property>  
    <name>dfs.block.size</name>  
    <value>67108864</value>
  </property> 
 
<!--指定hdfs的nameservice为master,需要和core-site.xml中的保持一致 -->
  <property>
    <name>dfs.nameservices</name>
    <value>master</value>
  </property>
 
<!-- master下面有两个NameNode,分别是nn1,nn2 -->
  <property>
    <name>dfs.ha.namenodes.master</name>
    <value>nn1,nn2</value>
  </property>
 
<!-- nn1的RPC通信地址 -->
  <property>
    <name>dfs.namenode.rpc-address.master.nn1</name>
    <value>master:9000</value>
  </property>
 
<!-- nn1的http通信地址 -->
  <property>
    <name>dfs.namenode.http-address.master.nn1</name>
    <value>master:50070</value>
  </property>
 
<!-- nn2的RPC通信地址 -->
  <property>
    <name>dfs.namenode.rpc-address.master.nn2</name>
    <value>master2:9000</value>
  </property>
 
<!-- nn2的http通信地址 -->
  <property>
    <name>dfs.namenode.http-address.master.nn2</name>
    <value>master2:50070</value>
  </property>
 
<!-- 指定NameNode的元数据在JournalNode上的存放位置 -->
  <property>
    <name>dfs.namenode.shared.edits.dir</name>
    <value>qjournal://slave01:8485;slave02:8485;slave03:8485/master</value>
  </property>
 
<!-- 配置失败自动切换实现方式 -->
  <property>
    <name>dfs.client.failover.proxy.provider.master</name>
    <value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
  </property>
 
<!-- 配置隔离机制 -->
  <property>
    <name>dfs.ha.fencing.methods</name>
    <value>sshfence</value>
  </property>
 
<!-- 使用隔离机制时需要ssh免密码登陆 -->
  <property>
    <name>dfs.ha.fencing.ssh.private-key-files</name>
    <value>/home/hadoop/.ssh/id_rsa</value>
  </property>
 
<!-- 指定NameNode的元数据在JournalNode上的存放位置 -->
  <property>
    <name>dfs.journalnode.edits.dir</name>
    <value>/home/hadoop/storage/hadoop/journal</value>
  </property>
 
<!--指定支持高可用自动切换机制-->
  <property>
    <name>dfs.ha.automatic-failover.enabled</name>
    <value>true</value>
  </property>
 
<!--指定namenode名称空间的存储地址-->
  <property>   
    <name>dfs.namenode.name.dir</name>   
    <value>/home/hadoop/storage/hadoop/name</value>  
  </property>
 
 <!--指定datanode数据存储地址-->
  <property>   
    <name>dfs.datanode.data.dir</name>   
    <value>file:/home/hadoop/storage/hadoop/data</value>  
  </property>
  
<!--指定数据冗余份数-->
  <property>   
    <name>dfs.replication</name>   
    <value>3</value> 
  </property>
 
<!--指定可以通过web访问hdfs目录-->
  <property>  
    <name>dfs.webhdfs.enabled</name>  
    <value>true</value> 
  </property>
 
<!--保证数据恢复 -->  
  <property>  
    <name>dfs.journalnode.http-address</name>  
    <value>0.0.0.0:8480</value>  
  </property>
 
  <property>  
    <name>dfs.journalnode.rpc-address</name>  
    <value>0.0.0.0:8485</value>  
  </property> 
 
  <property>
    <name>ha.zookeeper.quorum</name>
    <value>slave01:2181,slave02:2181,slave03:2181</value>
  </property>

③vi /home/hadoop/hadoop/etc/hadoop/mapred-site.xml

<configuration>
<!-- 配置MapReduce运行于yarn中 -->
  <property>
    <name>mapreduce.framework.name</name>
    <value>yarn</value>
  </property>
 
<!-- 配置 MapReduce JobHistory Server 地址 ,默认端口10020 -->
  <property>
    <name>mapreduce.jobhistory.address</name>
    <value>0.0.0.0:10020</value>
  </property>
 
<!-- 配置 MapReduce JobHistory Server web ui 地址, 默认端口19888 -->
  <property>
    <name>mapreduce.jobhistory.webapp.address</name>
    <value>0.0.0.0:19888</value>
  </property>
</configuration>

④vi /home/hadoop/hadoop/etc/hadoop/yarn-site.xml

<!--日志聚合功能--> 
  <property>
     <name>yarn.log-aggregation-enable</name>
     <value>true</value>
  </property>
 
<!--在HDFS上聚合的日志最长保留多少秒。3天--> 
  <property>
     <name>yarn.log-aggregation.retain-seconds</name>
     <value>259200</value>
  </property>
 
<!--rm失联后重新链接的时间--> 
  <property> 
     <name>yarn.resourcemanager.connect.retry-interval.ms</name> 
     <value>2000</value> 
  </property>
 
<!--开启resource manager HA,默认为false--> 
  <property> 
     <name>yarn.resourcemanager.ha.enabled</name> 
     <value>true</value> 
  </property> 
 
<!--配置resource manager -->
  <property>
    <name>yarn.resourcemanager.ha.rm-ids</name>
    <value>rm1,rm2</value>
  </property>
 
  <property>
    <name>ha.zookeeper.quorum</name>
    <value>slave01:2181,slave02:2181,slave03:2181</value> 
  </property>
  
<!--开启故障自动切换--> 
  <property> 
     <name>yarn.resourcemanager.ha.automatic-failover.enabled</name> 
     <value>true</value> 
  </property> 
 
  <property>
    <name>yarn.resourcemanager.hostname.rm1</name>
    <value>master</value>
  </property>
                     
  <property>
     <name>yarn.resourcemanager.hostname.rm2</name>
     <value>master2</value>
  </property>
 
<!--在namenode1上配置rm1,在namenode2上配置rm2,注意:一般都喜欢把配置好的文件远程复制到其它机器上,但这个在YARN的另一个机器上一定要修改--> 
  <property> 
    <name>yarn.resourcemanager.ha.id</name> 
    <value>rm1</value> 
  <description>If we want to launch more than one RM in single node, we need this configuration</description> 
  </property> 
 
<!--开启自动恢复功能--> 
  <property>
    <name>yarn.resourcemanager.recovery.enabled</name> 
    <value>true</value> 
  </property>
 
<!--配置与zookeeper的连接地址--> 
  <property> 
    <name>yarn.resourcemanager.zk-state-store.address</name> 
    <value>slave01:2181,slave02:2181,slave03:2181</value>
  </property> 
 
  <property> 
    <name>yarn.resourcemanager.store.class</name> 
    <value>org.apache.hadoop.yarn.server.resourcemanager.recovery.ZKRMStateStore</value> 
  </property> 
 
  <property>
    <name>yarn.resourcemanager.zk-address</name>
    <value>slave01:2181,slave02:2181,slave03:2181</value>
  </property>
 
  <property> 
    <name>yarn.resourcemanager.cluster-id</name> 
    <value>master-yarn</value> 
  </property> 
 
<!--schelduler失联等待连接时间--> 
  <property> 
    <name>yarn.app.mapreduce.am.scheduler.connection.wait.interval-ms</name> 
    <value>5000</value> 
  </property> 
 
<!--配置rm1--> 
  <property> 
    <name>yarn.resourcemanager.address.rm1</name> 
    <value>master:8132</value> 
  </property> 
 
  <property> 
    <name>yarn.resourcemanager.scheduler.address.rm1</name> 
    <value>master:8130</value> 
  </property> 
 
  <property> 
    <name>yarn.resourcemanager.webapp.address.rm1</name> 
    <value>master:8188</value> 
  </property> 
 
  <property>
    <name>yarn.resourcemanager.resource-tracker.address.rm1</name> 
    <value>master:8131</value> 
  </property> 
 
  <property> 
    <name>yarn.resourcemanager.admin.address.rm1</name> 
    <value>master:8033</value> 
  </property> 
 
  <property> 
    <name>yarn.resourcemanager.ha.admin.address.rm1</name> 
    <value>master:23142</value> 
  </property> 
 
<!--配置rm2--> 
  <property> 
    <name>yarn.resourcemanager.address.rm2</name> 
    <value>master2:8132</value> 
  </property> 
 
  <property> 
    <name>yarn.resourcemanager.scheduler.address.rm2</name> 
    <value>master2:8130</value> 
  </property> 
 
  <property> 
    <name>yarn.resourcemanager.webapp.address.rm2</name> 
    <value>master2:8188</value> 
  </property> 
 
  <property>
    <name>yarn.resourcemanager.resource-tracker.address.rm2</name> 
    <value>master2:8131</value> 
  </property> 
 
  <property> 
    <name>yarn.resourcemanager.admin.address.rm2</name> 
    <value>master2:8033</value> 
  </property> 
 
  <property> 
    <name>yarn.resourcemanager.ha.admin.address.rm2</name> 
    <value>master2:23142</value> 
  </property> 
 
  <property> 
    <name>yarn.nodemanager.aux-services</name> 
    <value>mapreduce_shuffle</value> 
  </property> 
 
  <property> 
    <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name> 
    <value>org.apache.hadoop.mapred.ShuffleHandler</value> 
  </property> 
 
  <property> 
    <name>yarn.nodemanager.local-dirs</name> 
    <value>/home/hadoop/storage/yarn/local</value> 
  </property> 
 
  <property> 
    <name>yarn.nodemanager.log-dirs</name> 
    <value>/home/hadoop/storage/yarn/logs</value> 
  </property> 
 
  <property> 
    <name>mapreduce.shuffle.port</name> 
    <value>23080</value> 
  </property> 
 
<!--故障处理类-->
  <property> 
    <name>yarn.client.failover-proxy-provider</name> 
    <value>org.apache.hadoop.yarn.client.ConfiguredRMFailoverProxyProvider</value> 
  </property> 
 
  <property>
      <name>yarn.resourcemanager.ha.automatic-failover.zk-base-path</name>
      <value>/yarn-leader-election</value>
      <description>Optional setting. The default value is /yarn-leader-election</description>
  </property>

⑤配置datenode vi /home/hadoop/hadoop/etc/hadoop/slaves

slave01
slave02
slave03

(三)同步hadoop文件夹到其他的四台机器(master2,slave01,slave02,slave03)

再master节点上执行
scp -r /home/hadoop/hadoop-2.6.0  hadoop@master2:/home/hadoop/
scp -r /home/hadoop/hadoop-2.6.0  hadoop@slave01:/home/hadoop/
scp -r /home/hadoop/hadoop-2.6.0  hadoop@slave02:/home/hadoop/
scp -r /home/hadoop/hadoop-2.6.0  hadoop@slave03:/home/hadoop/

(四)修改nn2(master2)配置文件yarn-site.xml

<property> 
    <name>yarn.resourcemanager.ha.id</name> 
    <value>rm2</value> 
  <description>If we want to launch more than one RM in single node, we need this configuration</description> 
  </property>

六:启动集群##

(一)把各个zookeeper起来(slave01,slave02,slave03)

在三台机器上执行
/home/hadoop/zookeeper-3.4.5/bin/zkServer.sh start    
/home/hadoop/zookeeper-3.4.5/bin/zkServer.sh status (1个leader, 2个follower)
输入jps,会显示启动进程:QuorumPeerMain

(二)在主namenode节点(master)执行如下命令,创建命名空间

/home/hadoop/hadoop-2.6.0/bin/hdfs zkfc -formatZK

(三)在slave01,slave02,slave03节点用如下命令启日志程序
/home/hadoop/hadoop-2.6.0/sbin/hadoop-daemon.sh start journalnode

(四)在主namenode节点用./bin/hadoop namenode -format格式化namenode和journalnode目录

/home/hadoop/hadoop-2.6.0/bin/hadoop namenode -format

(五)在任意一个zookeeper节点(salve01,slave02,slave03)执行

/home/hadoop/zookeeper-3.4.5/bin/zkCli.sh

[zk: localhost:2181(CONNECTED) 0] ls /
[hadoop-ha, zookeeper]
[zk: localhost:2181(CONNECTED) 1] ls /hadoop-ha 
[master]
[zk: localhost:2181(CONNECTED) 2] quit

(六)在主namenode节点启动namenode进程

/home/hadoop/hadoop-2.6.0/sbin/hadoop-daemon.sh start namenode

(七)在备namenode节点(master2)执行第一行命令,把备namenode节点的目录格式化并把元数据从主namenode节点copy过来,并且这个命令不会把journalnode目录再格式化了!然后用第二个命令启动备namenode进程!

/home/hadoop/hadoop-2.6.0/bin/hdfs namenode -bootstrapStandby

/home/hadoop/hadoop-2.6.0/sbin/hadoop-daemon.sh start namenode

(八)在两个namenode节点都执行以下命令

/home/hadoop/hadoop-2.6.0/sbin/hadoop-daemon.sh start zkfc

(九)启动datanode

方法①:在slave01上执行以下命令,slave02,salve03的datanode也会启动,如果某个几点上执行jps没有看到datanode进程则在该节点也执行以下命令,或者使用方法②
/home/hadoop/hadoop-2.6.0/sbin/hadoop-daemons.sh start datanode
方法②:直接在主NameNode(master)上执行如下命令一次性启动所有datanode
/home/hadoop/hadoop-2.6.0/sbin/hadoop-daemons.sh start datanode

(十) 启动YARN(在master和master2上执行)

/home/hadoop/hadoop-2.6.0/sbin/start-yarn.sh

注:在namenode2(master2)上执行此命令时会提示NodeManager已存在等信息不用管这些,主要是启动namenode2上的resourceManager完成与namenode1的互备作用,可忽略

(十一)查看状态

启动完成之后可以在浏览器中输入http://master:50070和http://master2:50070查看namenode分别为Standby和Active。
在namenode1(master)上执行${HADOOP_HOME}/bin/yarn rmadmin -getServiceState rm1查看rm1和rm2分别为active和standby状态,也可以通过浏览器访问http://master:8188查看状态

查看到正确信息表示安装成功!!

以上是关于虚拟机centos7系统下安装hadoop ha和yarn ha(详细)的主要内容,如果未能解决你的问题,请参考以下文章

Linux系统(Centos7)实现hadoop安装

Hadoop 安装详细步骤

20190228 搭建Hadoop基础环境

CentOS7+Hadoop2.7.2(HA高可用+Federation联邦)+Hive1.2.1+Spark2.1.0 完全分布式集群安装

HA 模式下的 Hadoop2.7.4+ZooKeeper3.4.10搭建

虚拟机下卸载操作系统之CentOS7