Hadoop---静动态增删节点

Posted Loneliness Ends HUHU

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了Hadoop---静动态增删节点相关的知识,希望对你有一定的参考价值。

        静动态增删节点

 初始:

  这是我现在的集群

   

  重新克隆一个虚拟机:

    hadoop44:datanode(静态增加,删除和动态删除)

    hadoop55:datanode(动态hdfs添加,yarn动态增删)

  静态添加:

    1)修改hosts文件,让主可以认识它

      vi /etc/hosts

      

    2)设置无密码访问hadoop44(keygen的生成--> ssh-keygen -t rsa)

      

    3)分别给从机中发送hosts文件和给hadoop44方法送profile文件和hadoop-2.6.0,以及重启hadoop44的profile文件(source /etc/profile)

      

    4)修改配置文件slaves文件 

      

    5)查看效果

      192.168.11.11:50070

      

      192.168.11.11:8088

      

 静态删除:

   1. 静态删除节点:

     

   2. 页面:只是停止心跳

     

 动态增删节点: 

  动态删除hadoop3

    1)修改hdfs.site.xml
    <property>
        <name>dfs.hosts</name>
        <value>/home/bigData/hadoop-2.6.0/etc/hadoop/dfs-hosts.conf</value>
    </property>
    <property>
        <name>dfs.hosts.exclude</name>
        <value>/home/bigData/hadoop-2.6.0/etc/hadoop/dfs-exhosts.conf</value>
    </property>

      

      

   2)同步资源文件并启动服务-->start.all.sh

      scp * hadoop2/3/44`pwd`

      

      启动:

     

 

   3)删除节点状态
     1.修改配置文件(上面刚刚建的dfs-exhosts.conf)

      

      2.刷新 --> hdfs dfsadmin -refreshNodes

       

      3.页面或者(hdfs.dfsadmin -report)

      

        

  动态添加hadoop55节点

    1)hadooop5需要做和前面相同的配置,启动hadopp55

      

    2) 网页(如果你hadoop1/hadoop2有大量文件,而hadoop55上线时会自动做一个平衡,将文件分一些给hadoop55)

      

  动态增加和卸载yarn节点 :  

     1)修改配置文件(增加和卸载)  

      <property>
		<name>yarn.resourcemanager.nodes.include-path</name>
		<value>/home/bigData/hadoop-2.6.0/etc/hadoop/yarn-hosts-include.conf</value>
	</property>
	<property>
		<name>yarn.resourcemanager.nodes.exclude-path</name>
		<value>/home/bigData/hadoop-2.6.0/etc/hadoop/yarn-hosts-exclude.conf</value>
	</property>

     2)在相应的目录下创建文件夹:

      

     3.1)启动hadoop55做yarn节点的增加

        

     4)网页

        

      3.2)删除节点,刷新yarn文件

         

     4)网页

       

    注意:

     动态增删hdfs节点时不要进行-->hdfs dfsadmin refresh 刷新,如果刷新了会节点死掉,这个刷新节点只支持大数据2.47之前,我们现在使用的是2.6.0版本

  结束:  

    一个有5台机器,还有一台就是hadoop55

    

    

 

 

    huhu_k:每一个成功都不是一朝一夕的事情

 

以上是关于Hadoop---静动态增删节点的主要内容,如果未能解决你的问题,请参考以下文章

HDFS与HBASE的动态节点的扩容(增删)小白级

hadoop+Spark+hbase集群动态增加节点

sparkhadoop动态增减节点

sparkhadoop动态增减节点

Redis集群生产环境搭建,主从搭建,动态增删步骤

Redis集群生产环境搭建,主从搭建,动态增删步骤