hadoop+Spark+hbase集群动态增加节点

Posted 2020-11-21

分布式系统的一个优势就是动态可伸缩性，如果增删节点需要重启那肯定是不行的。后来研究了一下，发现的确是不需要重启集群，直接在新增的节点上分别启动以下进程即可：以hadoop、spark和hbase为例：

一、hadoop增加datanode节点

因为1.x版本和2.x版本有比较大的差异，我这里是以2.7为例。
在namenode节点上,将hadoop-2.7复制到新节点上,并在新节点上删除data和logs目录中的文件。

1、增加hdfs数据节点datanode

在此节点上启动hdfs：

./sbin/hadoop-daemon.sh start datanode     # (后台模式)  
或
./bin/hdfs datanode                        # (控制台模式)

2、下次自动启动，

修改集群里机器的所有$HADOOP_HOME/etc/hadoop/slaves配置文件，添加该节点。

3、刷新节点信息：

./bin/hdfs dfsdmin -refreshNodes

4、查看hdfs节点状态：即有多少个节点

./bin/hdfs dfsadmin –report

5、启动后可以均衡数据，使用命令

./sbin/start-balancer.sh

如果不balance，那么cluster会把新的数据都存放在新的node上，这样会降低工作效率：
查看hdfs节点状态：

hdfsdfsadmin –report
1048576（=1Mb/s）
104857600（=100Mb/s）
hdfsdfsadmin -setBalancerBandwidth 104857600

#设置不同节点之间复制数据的带宽是受限的，默认是1MB/s

start-balancer.sh -threshold 1

#设置如果某个datanode的磁盘里使用率比平均水平高出1%，Blocks向其他低于平均水平的datanode中传送, 也就是每个节点使用率相差不超过1%。
或者：

start-balancer.sh
stop-balancer.sh

6、卸载节点

卸载节点一般不建议直接停掉，需要先将其排除在集群之外，

编辑配置文件：$HADOOP_HOME/etc/hadoop/hdfs-core.xml

<property>  
    <name>dfs.hosts</name> 
    <value>.../etc/hadoop/datanode-allow.list</value>  
</property> 
<property> 
    <name>dfs.hosts.exclude</name>  
    <value>.../etc/hadoop/datanode-deny.list</value>  
</property> 

在datanode-deny.list中 加入要卸载的节点名称

刷新节点信息：

./bin/hdfs dfsdmin -refreshNodes         # 会看到节点变成Dead和Decommissioned状态

最后再停止节点：

./sbin/hadoop-daemon.sh stop datanode

7、增加NodeManager任务节点

####启动：

./sbin/yarn-daemon.sh start nodemanager    # (后台模式)  
或
./bin/yarn nodemanager                     # (控制台模式)

####停止：

./sbin/yarn-daemon.sh stop nodemanager

二、spark新增worker节点

1、增加一个节点就是在该节点执行：

./sbin/start-slave.sh spark://<master>:7077

就完成了新节点的注册和加入集群。

2、新增节点启动验证

执行jps命令,slave可以看到Worker进程

3、查看Spark UI

看到Workers中有新增节点

4、停止节点：

./sbin/stop-slave.sh

之后在master的管理端会显示这个节点已经“死掉”了。然而这条信息会一直显示到重启master为止。

5、希望下次自动启动这个新节点，

把这个节点名称加入到$SPARK_HOME/conf/slaves文件里。

三、hbase新增RegionServer

1、启动HRegionServer进程

hbase-daemon.shstart regionserver 

2、启动HquorumPeer进程

hbase-daemon.shstart zookeeper 

3、查看集群状态

hbase shell中输入status

4、负载均衡:

hbase shell中输入：balance_switch true