Hadoop完全分布式编写 Hadoop 集群常用脚本

Posted 2021-09-20 ZSYL

编写 Hadoop 集群常用脚本

• 1. 集群启动/停止方式总结
• • 1）各个模块分开启动/停止
  • 2）各个服务组件逐一启动/停止
• 2. 编写 Hadoop 集群常用脚本
• • 1）Hadoop 集群启停脚本
  • 2）查看三台服务器 Java 进程脚本：jpsall
  • 3）分发/home/atguigu/bin 目录，保证自定义脚本在三台机器上都可以使用
• 3. 常用端口号说明

1. 集群启动/停止方式总结

1）各个模块分开启动/停止

（配置 ssh 是前提）常用

（1）整体启动/停止 HDFS

start-dfs.sh/stop-dfs.sh

（2）整体启动/停止 YARN

start-yarn.sh/stop-yarn.sh

2）各个服务组件逐一启动/停止

（1）分别启动/停止 HDFS 组件

hdfs --daemon start/stop namenode/datanode/secondarynamenode

（2）启动/停止 YARN

yarn --daemon start/stop resourcemanager/nodemanager

2. 编写 Hadoop 集群常用脚本

1）Hadoop 集群启停脚本

（包含 HDFS，Yarn，Historyserver）：myhadoop.sh

[zs@hadoop102 ~]$ cd /home/zs/bin
[zs@hadoop102 bin]$ vim myhadoop.sh

输入如下内容:

#!/bin/bash
if [ $# -lt 1 ]
then
 	echo "No Args Input..."
 	exit ;
fi
case $1 in
"start")
 	echo " =================== 启动 hadoop 集群 ==================="
 	echo " --------------- 启动 hdfs ---------------"
 	ssh hadoop102 "/opt/module/hadoop-3.1.3/sbin/start-dfs.sh"
 	echo " --------------- 启动 yarn ---------------"
 	ssh hadoop103 "/opt/module/hadoop-3.1.3/sbin/start-yarn.sh"
 	echo " --------------- 启动 historyserver ---------------"
 	ssh hadoop102 "/opt/module/hadoop-3.1.3/bin/mapred --daemon start historyserver"
;;
"stop")
 	echo " =================== 关闭 hadoop 集群 ==================="
    echo " --------------- 关闭 historyserver ---------------"
 	ssh hadoop102 "/opt/module/hadoop-3.1.3/bin/mapred --daemon stop 
historyserver"
 	echo " --------------- 关闭 yarn ---------------"
 	ssh hadoop103 "/opt/module/hadoop-3.1.3/sbin/stop-yarn.sh"
 	echo " --------------- 关闭 hdfs ---------------"
 	ssh hadoop102 "/opt/module/hadoop-3.1.3/sbin/stop-dfs.sh"
;;
*)
 	echo "Input Args Error..."
;;
esac

保存后退出，然后赋予脚本执行权限

[zs@hadoop102 bin]$ chmod +x myhadoop.sh

2）查看三台服务器 Java 进程脚本：jpsall

[zs@hadoop102 ~]$ cd /home/zs/bin
[zs@hadoop102 bin]$ vim jpsall

输入如下内容

#!/bin/bash
for host in hadoop102 hadoop103 hadoop104
do
 	echo =============== $host ===============
 	ssh $host jps 
done

保存后退出，然后赋予脚本执行权限:

[zs@hadoop102 bin]$ chmod +x jpsall

3）分发/home/atguigu/bin 目录，保证自定义脚本在三台机器上都可以使用

[zs@hadoop102 ~]$ xsync /home/zs/bin/

3. 常用端口号说明

面试题：

加油!

感谢!

努力!