Hadoop---静动态增删节点

Posted 2020-11-18 Loneliness Ends HUHU

tags:

篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了Hadoop---静动态增删节点相关的知识，希望对你有一定的参考价值。

　　　　　　　　静动态增删节点

　初始：

　　这是我现在的集群

　　重新克隆一个虚拟机：

　　　　hadoop44:datanode(静态增加，删除和动态删除)

　　　　hadoop55:datanode（动态hdfs添加，yarn动态增删）

　　静态添加：

　　　　1）修改hosts文件，让主可以认识它

　　　　　　vi /etc/hosts

　　　　2）设置无密码访问hadoop44（keygen的生成--> ssh-keygen -t rsa）

　　　　3)分别给从机中发送hosts文件和给hadoop44方法送profile文件和hadoop-2.6.0,以及重启hadoop44的profile文件（source /etc/profile）

　　　　4）修改配置文件slaves文件

　　　　5)查看效果

　　　　　　192.168.11.11：50070

　　　　　　192.168.11.11：8088

　静态删除：

　　　1.　静态删除节点：

　　　2. 页面：只是停止心跳

　动态增删节点：　

　　动态删除hadoop3

　　　　1）修改hdfs.site.xml

    <property>
        <name>dfs.hosts</name>
        <value>/home/bigData/hadoop-2.6.0/etc/hadoop/dfs-hosts.conf</value>
    </property>
    <property>
        <name>dfs.hosts.exclude</name>
        <value>/home/bigData/hadoop-2.6.0/etc/hadoop/dfs-exhosts.conf</value>
    </property>

　　　2)同步资源文件并启动服务-->start.all.sh

　　　　　　scp * hadoop2/3/44`pwd`

　　　　　　启动：

　　　3)删除节点状态

　　　　　1.修改配置文件（上面刚刚建的dfs-exhosts.conf）

　　　　 2.刷新 --> hdfs dfsadmin -refreshNodes

　　　　 3.页面或者（hdfs.dfsadmin -report）

　　动态添加hadoop55节点

　　　　1）hadooop5需要做和前面相同的配置，启动hadopp55

　　　　2) 网页（如果你hadoop1/hadoop2有大量文件，而hadoop55上线时会自动做一个平衡，将文件分一些给hadoop55）

　　动态增加和卸载yarn节点 :　　

　　　　　1)修改配置文件（增加和卸载）　

　　　　　　<property>
		<name>yarn.resourcemanager.nodes.include-path</name>
		<value>/home/bigData/hadoop-2.6.0/etc/hadoop/yarn-hosts-include.conf</value>
	</property>
	<property>
		<name>yarn.resourcemanager.nodes.exclude-path</name>
		<value>/home/bigData/hadoop-2.6.0/etc/hadoop/yarn-hosts-exclude.conf</value>
	</property>

　　　　　2）在相应的目录下创建文件夹：