Hadoop概念学习系列之Hadoop集群动态增加新节点或删除已有某节点及复制策略导向

Posted 2020-11-09 好记性不如烂笔头！

hadoop-2.6.0动态添加新节点

 https://blog.csdn.net/baidu_25820069/article/details/52225216

 

 

 

 

 

Hadoop集群动态增加新节点

　　一、在新增节点配置运行环境
　　　　1、安装和其他节点相同的java环境，jdk版本要相同。
　　　　2、修改/etc/hosts配置文件，添加ip与hostname的对应关系并分发到集群各个节点。
　　　　3、关闭防火墙、相关软件工具的安装等。
　　　　4、配置ssh免密码登录，使新增节点和集群其他节点能实现免密码登录。
　　　　5、修改slaves文件并分发到集群各个节点。

 

　　二、在新增节点上部署Hadoop
　　　　把集群的Hadoop安装包copy到新增节点，安装目录最好一致，便于管理
　　三、单独启动新增节点
　　　　无需关闭集群再重启
　　四、验证是否启动成功
　　　　(1)通过WEB界面查看Live Node
　　　　(2)通过命令查看： bin/hadoop dfsadmin -report 

　　五、集群负载均衡
　　　　运行start-balancer.sh进行数据负载均衡。（如果不进行balance,新数据一般会被插入到新节点中)

 

 

 

 

 

Hadoop集群动态删除某节点

　　注意提前做好删除节点数据的备份

 

 

 

 

推荐

http://www.aboutyun.com/thread-7532-1-1.html（运行Hadoop的集群如何动态增加与删除节点）（推荐）

Hadoop2.7实战v1.0之动态添加、删除DataNode节点及复制策略导向 （推荐）