hadoop+zookepper实现namenode的高可用

Posted

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了hadoop+zookepper实现namenode的高可用相关的知识,希望对你有一定的参考价值。

Hadoop+zookeepker安装与配置:

 

hadoop-env.sh中添加export JAVA的环境变量

修改hostname文件的名称,/etc/hosts文件配置主机名和ip的映射关系,将mstaerslave的主机名和ip地址都添加进来

 

配置ssh免密钥配置

Ssh-keygen –t rsa

./.ssh文件中生成两个文件id_rsa(私钥),id_rsa.pub(公钥)

cat id_rsa.pub > .ssh/authorized_keys

scp authorized_keys [email protected]:/home/user/id_rsa.pub

修改authorzed文件的权限为600

 

 

//Namenode之间的高可用其实是通过journalNode集群或者nfs来实现的,两台主从的namenode节点通过共享一个共享目录来实现高可用,standy的机器时刻同步activenamenode的机器,namenode的自动切换一般使用zookeeper集群中来实现

 

Namenode高可用的配置:

Core-site.Xml添加fs.defaultFS的属性为hdfs//mycluster

hdfs-site中添加dfs.federation.nameserversmycluster

         添加dfs.namenodes.mycluster的值为nn1nn2

         添加dfs.namenode.rpc-address.mycluster.nn1的值为hostname1:8020

         添加dfs.namenode.rpc-address.mysqlcluster.nn2的值为hostname28020

          添加dfs.namenode.http-address.mycluster.nn1的值为hostname1:50070//配置namenode节点的web查看

添加dfs.namenode.http-address.mycluster.nn1的值为hostname1:50070

添加dfs.namenode.shared.edits.dir共享的存储的目录位置,所有的slave端口的8485

          添加dfs.client.failover.proxy.provider.mycluster的值为org.apache.hadoop.hdfs. server.namenode.ha.ConfigureFailoverProxyProvider  //确认hadoop客户端与active节点通信的java类,使用其来确认active是否活跃

         添加dfs.ha.fencing.methods的值为sshfence使用ssh来进行切换

//任何一个期间都必须只有一个namenode节点,这个配置使用ssh的连接到namenode节点杀死namenodeactive状态

 

 

 

 

 

 

 

 

 

 

下面是hadoop+zookepper的所有配置:

配置hdfs-site.Xml

<configuration>

 <property>

   <name>dfs.replication</name>

   <value>3</value>                      //将文本复制的份数为3

 </property>

 <property>

   <name>heartbeat.recheckinterval</name>    //datanode的心跳时间为10s

   <value>10</value>

 </property>

 <property>

 <name>dfs.name.dir</name>             

 <value>file:/mnt/vdc/hadoopstore/hdfs/name</value>   //确定hdfs文件系统的元信息保存的目录,设置为多目录的时候,就可以保存元信息数据的多个备份

 </property>

 <property>

   <name>dfs.data.dir</name>

   <value>file:/mnt/vdc/hadoopstore/hdfs/data</value>  //确定hdfs的文件系统的数据保存的目录,就可以将hdfs建立在不同的分区上

 </property>

 <property>

   <name>dfs.webhdfs.enabled</name>    //web中访问hdfs的能力

   <value>true</value>

 </property>

 <property>

   <name>dfs.nameservices</name>     //定义一个myclusternameserver

   <value>mycluster</value>

 </property>

 <property>

   <name>dfs.ha.namenodes.mycluster</name>     //支持两个那么namenode节点,两个namenode节点是nn1nn2

   <value>nn1,nn2</value>

 </property>

 <property>

   <name>dfs.namenode.rpc-address.mycluster.nn1</name>//第一个rpc的通信地址,端口为8020

   <value>master1:8020</value>

 </property>

 <property>

   <name>dfs.namenode.rpc-address.mycluster.nn2</name>//第二个rpc的通信地址,端口为8020

   <value>master2:8020</value>

 </property>

 <property>

   <name>dfs.namenode.http-address.mycluster.nn1</name>

   <value>master1:50070</value>   //定义第二个namenodehttp端口

 </property>

 <property>

   <name>dfs.namenode.http-address.mycluster.nn2</name>

   <value>master2:50070</value>   //定义第二个namenodehttpd端口

 </property>

 <property>

   <name>dfs.namenode.shared.edits.dir</name>   <value>qjournal://master1:8485;master2:8485;slave1:8485;slave2:8485;slave3:8485;slave4:8485;slave5:8485;slave6:8485;slave7:8485;slave8:8485;slave9:8485;slave10:8485/mycluster</value>

 </property>   //共享的datanode信息

//客户端故障转移配置

 <property>

   <name>dfs.client.failover.proxy.provider.mycluster</name>

   <value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>

 </property>  //自动切换的时候由哪一个类来自动实现

 <property>

    <name>dfs.ha.fencing.methods</name>

    <value>sshfence</value>//namenode//切换时候使用ssh等方式来操作

 </property>

 

 <property>

   <name>dfs.ha.fencing.ssh.private-key-files</name>

   <value>/home/kduser/.ssh/id_rsa</value>//存储的秘钥的位置

 </property>

 <property>

   <name>dfs.ha.automatic-failover.enabled</name>  //???是否需要加上mycluster,故障发生的时候是否自动切换

   <value>true</value>

 </property>

 //将这个namenode节点id配置为nn1

<property>

   <name>dfs.ha.namenode.id</name>

   <value>nn1</value>

 </property>

</configuration>

 

 

配置mapred-site.xml文件

<configuration>

 <property>

 <name>mapreduce.framework.name</name>

 <value>yarn</value> //hadoop2.x以后的版本的框架为yarn

 </property>

 <property>

 <name>mapreduce.reduce.shuffle.input.buffer.percent</name>//默认为0.7,提高系统系统配置

 <value>0.1<value>

 </property>

 </configuration>

 

 

配置yarn-site.xml

<property>

   <name>yarn.nodemanager.resource.memory-mb</name>//nodemanager总的可用的物理内存

   <value>10240</value>

   </property>

   <property>

 <name>yarn.resourcemanager.address</name>

//ResourceManager 对客户端暴露的地址。客户端通过该地址向RM提交应用程序,杀死应用程序等

         <value>master1:8032</value>

         </property>

         <property>

                <name>yarn.nodemanager.disk-health-checker.max-disk-utilization-per-disk-percentage</name>

                 <value>95.0</value>

         </property>

         <property>

                 <name>yarn.resourcemanager.scheduler.address</name>

                 <value>master1:8030</value>

         </property>

         <property>

                 <name>yarn.resourcemanager.resource-tracker.address</name>

                 <value>master1:8031</value>

         </property>

         <property>

                 <name>yarn.nodemanager.aux-services</name>

                 <value>mapreduce_shuffle</value>

         </property>

     <property>

              <name>yarn.resourcemanager.admin.address</name>

         <value>master1:8033</value>

     </property>

        <property>

                 <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>

                  <value>org.apache.hadoop.mapred.ShuffleHandler</value>

         </property>

         <property>                                                                                                                                                                                                                         

           <name>yarn.resourcemanager.webapp.address</name>                                                                                                                                                                                 

           <value>master1:8088</value>                                                                                                                                                                                                      

         </property>

 

 

 

配置core-site.xml的配置

<configuration>

 <property>

   <name>hadoop.native.lib</name>

   <value>true</value>

<description>Shouldnative hadoop libraries, if present, be used.</description>

//设置启动本地库,默认使用本地库

 </property>

<!--

 <property>

   <name>fs.default.name</name>

   <value>hdfs://0.0.0.0:9000</value>     //namenode节点的url

 </property>

-->

 <property>

   <name>hadoop.tmp.dir</name>

 <value>/mnt/vdc/hadoopstore/tmp</value>     //hdfs的临时文件目录

 </property>

 <property>

   <name>fs.defaultFS</name>

   <value>hdfs://mycluster</value> //指定hdfsnameservicemycluster(两个),为hadoopnamenode节点高可用的配置

 </property>

 <property>

   <name>dfs.journalnode.edits.dir</name>

   <value>/mnt/vdc/hadoopstore/journal/data</value>

 </property>

 <property>

   <name>ha.zookeeper.quorum.mycluster</name>

   <value>master1:2181,master2:2181,slave1:2181</value>

 </property>

 <property>

   <name>hadoop.proxyuser.oozie.hosts</name>

   <value>*</value>

 </property>

 <property>

   <name>hadoop.proxyuser.oozie.groups</name>

   <value>*</value>

 </property>

 <property>

   <name>hadoop.proxyuser.hue.hosts</name>

   <value>*</value>

 </property>

 <property>

   <name>hadoop.proxyuser.hue.groups</name>

   <value>*</value>

 </property>

</configuration>

 

第一次启动的时候需要格式化 hadoop  namenode  –format

查看集群状态的时候使用jps来进行查看

Hadoop dfsadmin -report

 

 

 

 

Zookeeper命令详解:

配置基本的环境变量:

export ZOOKEEPER_HOME=/home/zookeeper-3.3.3

export PATH=$PATH:$ZOOKEEPER_HOME/bin:$ZOOKEEPER_HOME/conf

zookeeper配置文件zoo.cfg

tickTime=2000  //默认每两秒就会发送一个心跳

dataDir=/diskl/zookeeper  //存储内存中数据库快照的位置

dataLogDir=/disk2/zookeeper  //日记存放的目录

clientPort=2181

initlimit=5        //连接超时的心跳次数,这里5次就是说10s的时候就会退出

syncLimit=2    

server.l=zookeeperl:2888:3888 

server.2=zookeeper2:2888:3888 

server.3=zookeeper3:2888:3888 

 

zookeeper2181端口用于与客户端连接,2888端口用于与跟随者连接,3888端口用于选举

修改myid文件,这个文件在dataDir文件中配置为123

 

ZkServer.sh start/stop/status  启动/关闭/状态

zkCLi.sh –serveripaddress:2181   //连接某台的zookeeper服务器           

使用ls  /查看节点中的内容

get  /xxxx查看字符串里面的内容

set/create/deletexxx 设置/创建/删除节点的内容

但是zookeeper主要是使用api的形式来进行访问的


本文出自 “东神要一打五” 博客,谢绝转载!

以上是关于hadoop+zookepper实现namenode的高可用的主要内容,如果未能解决你的问题,请参考以下文章

Hadoop组件之-HDFS(HA实现细节)

Hadoop组件之-HDFS(HA实现细节)

hadoop之 Hadoop 2.x HA Federation

Hadoop HA——namenode无法启动问题解决

Hadoop HA——namenode无法启动问题解决

2018-07-23期 Hadoop RPC模拟NameNode