配置HDFS的HA

Posted 2020-11-22 zhqin

1、在/opt下创建ha文件夹

sudo mkdir ha

2、更改ha文件夹所有者

sudo chown atguigu:atguigu ha

3、将之前配置安装的hadoop文件夹拷贝到刚创建的ha文件夹下

cp -r module/hadoop-2.7.2/ ha/

4、然后进入到刚拷贝过去的ha文件夹下的hadoop文件夹，将之前集群运行产生的data和logs文件夹删除

rm -rf data/ logs/

5、进入etc/haoop/ 文件夹下

/opt/ha/hadoop-2.7.2/etc/hadoop

6、修改core-site.xml

<configuration>
<!-- 把两个NameNode）的地址组装成一个集群mycluster -->
        <property>
            <name>fs.defaultFS</name>
            <value>hdfs://mycluster</value>
        </property>

        <!-- 指定hadoop运行时产生文件的存储目录 -->
        <property>
            <name>hadoop.tmp.dir</name>
            <value>/opt/ha/hadoop-2.7.2/data/tmp</value>
        </property>
</configuration>

7、配置hdfs-site.xml

<configuration>
    <!-- 完全分布式集群名称 -->
    <property>
        <name>dfs.nameservices</name>
        <value>mycluster</value>
    </property>

    <!-- 集群中NameNode节点都有哪些 -->
    <property>
        <name>dfs.ha.namenodes.mycluster</name>
        <value>nn1,nn2</value>
    </property>

    <!-- nn1的RPC通信地址 -->
    <property>
        <name>dfs.namenode.rpc-address.mycluster.nn1</name>
        <value>hadoop102:9000</value>
    </property>

    <!-- nn2的RPC通信地址 -->
    <property>
        <name>dfs.namenode.rpc-address.mycluster.nn2</name>
        <value>hadoop103:9000</value>
    </property>

    <!-- nn1的http通信地址 -->
    <property>
        <name>dfs.namenode.http-address.mycluster.nn1</name>
        <value>hadoop102:50070</value>
    </property>

    <!-- nn2的http通信地址 -->
    <property>
        <name>dfs.namenode.http-address.mycluster.nn2</name>
        <value>hadoop103:50070</value>
    </property>

    <!-- 指定NameNode元数据在JournalNode上的存放位置 -->
    <property>
        <name>dfs.namenode.shared.edits.dir</name>
    <value>qjournal://hadoop102:8485;hadoop103:8485;hadoop104:8485/mycluster</value>
    </property>

    <!-- 配置隔离机制，即同一时刻只能有一台服务器对外响应 -->
    <property>
        <name>dfs.ha.fencing.methods</name>
        <value>sshfence</value>
    </property>

    <!-- 使用隔离机制时需要ssh无秘钥登录-->
    <property>
        <name>dfs.ha.fencing.ssh.private-key-files</name>
        <value>/home/atguigu/.ssh/id_rsa</value>
    </property>

    <!-- 声明journalnode服务器存储目录-->
    <property>
        <name>dfs.journalnode.edits.dir</name>
        <value>/opt/ha/hadoop-2.7.2/data/jn</value>
    </property>

    <!-- 关闭权限检查-->
    <property>
        <name>dfs.permissions.enable</name>
        <value>false</value>
    </property>

    <!-- 访问代理类：client，mycluster，active配置失败自动切换实现方式-->
    <property>
        <name>dfs.client.failover.proxy.provider.mycluster</name>
    <value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
    </property>
</configuration>

8、分发ha文件夹

sudo xsync /opt/ha/

其实到目前为止，手动切换的HA已经配置完成。

接下来继续配置自动切换(自动故障转移)的HA，也就是ZooKeeper。

9、进入配置文件的文件夹下，修改hdfs-site.xml,vim /opt/ha/hadoop-2.7.2/etc/hadoop/hdfs-site.xml在原有的配置基础上追加如下内容：

<property>
    <name>dfs.ha.automatic-failover.enabled</name>
    <value>true</value>
</property>

10、修改core-site.xml，在core-site.xml最后追加如下内容：

<property>
    <name>ha.zookeeper.quorum</name>
    <value>hadoop102:2181,hadoop103:2181,hadoop104:2181</value>
</property>

11、同步三台机器的配置文件

xsync /opt/ha/hadoop-2.7.2/etc/hadoop/

到此配置完成，接下来开始第一次启动前的各种准备工作。

12、启动JournalNode

/opt/ha/hadoop-2.7.2/sbin/hadoop-daemons.sh start journalnode

13、格式化namenode(注意，执行该命令需等待上条命令执行之后稍等片刻，因为JournalNode节点启动稍微需要些时间，而HDFS是建立在这个节点之上的)

/opt/ha/hadoop-2.7.2/bin/hdfs namenode -format

14、启动namenode

/opt/ha/hadoop-2.7.2/sbin/hadoop-daemon.sh start namenode

此时执行jpsall应该有的进程是：

-----------  hadoop102  -----------
10178 NameNode
10014 JournalNode
-----------  hadoop103  -----------
12740 JournalNode
-----------  hadoop104  -----------
12521 JournalNode

这样的结果的话代表目前执行正确

15、在hadoop103机器上执行：

/opt/ha/hadoop-2.7.2/bin/hdfs namenode -bootstrapStandby

16、然后在hadoop103上启动namenode

/opt/ha/hadoop-2.7.2/sbin/hadoop-daemon.sh start namenode

这个时候执行jpsall应该是三个jn两个nn，如下所示：

-----------  hadoop102  -----------
10178 NameNode
10014 JournalNode
-----------  hadoop103  -----------
12740 JournalNode
12981 NameNode
-----------  hadoop104  -----------
12521 JournalNode

17、启动ZooKeeper集群
在所有机器同时发送命令：

$ZOOKEEPER_HOME/bin/zkServer.sh start

可以通过命令：$ZOOKEEPER_HOME/bin/zkServer.sh start查看ZooKeeper各个节点的状态。

18、需要格式化一下Zkfc需要在ZooKeeper中用到的数据信息。

/opt/ha/hadoop-2.7.2/bin/hdfs zkfc -formatZK

19、在配置了namenode节点的机器上启动zkfc
在hadoop102和hadoop103分别执行：

/opt/ha/hadoop-2.7.2/sbin/hadoop-daemon.sh start zkfc

此时执行jpsall，显示结果应该为：

-----------  hadoop102  -----------
10432 QuorumPeerMain
10178 NameNode
10650 DFSZKFailoverController
10014 JournalNode
-----------  hadoop103  -----------
13363 DFSZKFailoverController
12740 JournalNode
12981 NameNode
13151 QuorumPeerMain
-----------  hadoop104  -----------
12772 QuorumPeerMain
12521 JournalNode

20、然后启动数据节点datanode，切换到hadoop102

/opt/ha/hadoop-2.7.2/sbin/hadoop-daemons.sh start datanode

这个时候执行jpsall

-----------  hadoop102  -----------
10432 QuorumPeerMain
10817 DataNode
10178 NameNode
10650 DFSZKFailoverController
10014 JournalNode
-----------  hadoop103  -----------
13665 DataNode
13363 DFSZKFailoverController
12740 JournalNode
12981 NameNode
13151 QuorumPeerMain
-----------  hadoop104  -----------
12772 QuorumPeerMain
13092 DataNode
12521 JournalNode

21、至此，已经配置完成。

以后启动的话就一条启动命令即可：

/opt/ha/hadoop-2.7.2/sbin/start-dfs.sh

关闭同理：

/opt/ha/hadoop-2.7.2/sbin/stop-dfs.sh