Hadoop HDFS Federation 配置

Posted 2020-10-30

tags:

篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了Hadoop HDFS Federation 配置相关的知识，希望对你有一定的参考价值。

一：系统环境配置

二：编辑改变hadoop 的配置文件

三: 启动服务节点：

四:HDFS Federation环境测试

一：系统环境配置：

  承接 在上文档hadoop 分布式的文档进行部署

二：编辑改变hadoop 的配置文件

   编辑core-site.xml 文件：
   master.hadop.com 的core-site 文件配置
   vim core-site.xml

<property>
      <name>fs.defaultFS</name>
      <value>hdfs://master.hadoop.com:8020</value>
    </property>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/home/hadoop/yangyang/hadoop/data</value>
</property> 
</configuration>
slave1.hadoop.com 的core-site.xml 文件配置
<configuration>
<property>
      <name>fs.defaultFS</name>
      <value>hdfs://slave1.hadoop.com:8020</value>
    </property>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/home/hadoop/yangyang/hadoop/data</value>
</property>
</configuration>
slave2.hadoop.com 的core-site.xml 文件配置：
<configuration>
<property>
        <name>hadoop.tmp.dir</name>
        <value>/home/hadoop/yangyang/hadoop/data</value>
</property>
</configuration>

编辑hdfs-site.xml 文件：

<configuration>
<property>
       <name>dfs.replication</name>
       <value>3</value>
    </property>
    <property>
        <name>dfs.nameservices</name>
        <value>ns1,ns2</value>
    </property>
    <property>
        <name>dfs.namenode.rpc-address.ns1</name>
        <value>master.hadoop.com:8020</value>
    </property>
    <property>
        <name>dfs.namenode.http-address.ns1</name>
        <value>master.hadoop.com:50070</value>
    </property>
    <property>
        <name>dfs.namenode.rpc-address.ns2</name>
        <value>slave1.hadoop.com:8020</value>
    </property>
    <property>
        <name>dfs.namenode.http-address.ns2</name>
        <value>slave1.hadoop.com:50070</value>
    </property> 
</configuration>

三:启动服务节点：

格式化HDFS 节点处理
 master.hadoop.com
cd /home/hadoop/yangyang/hadoop/
bin/hdfs namenode –format –clusterID hdfs-cluster

技术分享图片

slave1.hadoop.com
cd /home/hadoop/yangyang/hadoop/
bin/hdfs namenode –format –clusterID hdfs-cluster

技术分享图片

启动namenode.hadoop.com与slave1.hadoop.com
节点上的namenode 
master.hadoop.com
./hadoop-daemon.sh start namenode

技术分享图片

slave1.hadoop.com
./hadoop-daemon.sh start namenode

技术分享图片

启动所有节点的datanonde
./hadoop-daemon.sh start datanode 
master.hadoop.com

技术分享图片

slave1.hadoop.com

技术分享图片

slave2.hadoop.com

技术分享图片
打开浏览器：
master.hadoop.com

slave1.hadoop.com

###四： HDFS Fedeation 的测试
在maser.hadoop.com 节点上去HDFS创建一个文件

在slave1.hadoop.com 去hdfs 上创建文件

打开浏览器查看：
master.hadoop.com

slave1.hadoop.com