USDP使用笔记大数据集群及组件启停

Posted 2022-03-15 虎鲸不是鱼

集群启动

Master的zhiyong1启动：

    ┌──────────────────────────────────────────────────────────────────────┐
    │                 • MobaXterm Personal Edition v21.4 •                 │
    │               (SSH client, X server and network tools)               │
    │                                                                      │
    │ ➤ SSH session to root@192.168.88.100                                 │
    │   • Direct SSH      :  ✔                                             │
    │   • SSH compression :  ✔                                             │
    │   • SSH-browser     :  ✔                                             │
    │   • X11-forwarding  :  ✔  (remote display is forwarded through SSH)  │
    │                                                                      │
    │ ➤ For more info, ctrl+click on help or visit our website.            │
    └──────────────────────────────────────────────────────────────────────┘

Last login: Wed Mar  2 22:16:18 2022
/usr/bin/xauth:  file /root/.Xauthority does not exist
[root@zhiyong1 ~]# cd /opt/usdp-srv/usdp/
[root@zhiyong1 usdp]# bin/start-udp-server.sh
BASE_PATH: /opt/usdp-srv/usdp/bin
JMX_PATH: /opt/usdp-srv/usdp/jmx_exporter
REPAIR_PATH: /opt/usdp-srv/usdp/repair
UDP_PATH: /opt/usdp-srv/usdp
REPAIR_BIN_PATH: /opt/usdp-srv/usdp/repair/bin
REPAIR_SBIN_PATH: /opt/usdp-srv/usdp/repair/sbin
PACKAGES_PATH: /opt/usdp-srv/usdp/repair/packages
nmap-6.40-19.el7.x86_64
nmap exists

UDP Server is running with: 20243
Done.

打开网站：

http://192.168.88.100/login
#admin，Zhiyong1

组件启动

启动顺序

熟悉大数据的都很清楚，组件启动有先后顺序。USDP集群需要先开启监控类，再开启存储类，然后是计算类。可视化类、调度类、安全类用不到的时候可以不开，用得到的时候最后开。

监控类

5个全开。

存储类

先开Zookeeper！！！这是常识。然后是HDFS，之后才能启动HBase和Kafka。Elastic Search用得着的时候再开，这个随意。

计算类

当然是先启动Yarn。然后是Hive和Tez。Spark和Flink视需要启动，都是启动Yarn之后再启动比较稳。

zhiyong-1

只启动这3类组件。

zhiyong-2

从上方切换到集群2：

土豪的机器内存多的话多开几套集群也没啥关系。

鄙人垃圾佬一杆，只启动监控类、存储类。

资源占用情况

主集群组件全部启动后会占用>24G内存，最少给zhiyong2~zhiyong4分配32G内存才能保证组件全部启动后不会立即宕机。

副集群只启动必要的存储【不启动ES】、监控【全部】、计算【Hive、Tez、Yarn】，可视化可以开个HUE，安全类的Ranger也可以开。这种情况至少要给zhiyong5~zhiyong7分配16G内存才能保证不会很快宕机。

组件停止

停止顺序

先开的后关，后开的先关。所以停止顺序是：先停止所有的调度类、可视化类、安全类组件【部分顺序】。之后停止计算类，再停止存储类【先关HBase，之后是HDFS，最后关Zookeeper】。最后关闭监控类。

[root@zhiyong1 /]# cd /opt/usdp-srv/usdp/bin/
[root@zhiyong1 bin]# ll
总用量 2200
-rwxr-xr-x. 1 root root    2673 12月 29 14:48 start-udp-agent.sh
-rwxr-xr-x. 1 root root    2506 12月 29 15:32 start-udp-server.sh
-rwxr-xr-x. 1 root root     323 12月 29 14:48 stop-udp-agent.sh
-rwxr-xr-x. 1 root root     328 12月 29 14:48 stop-udp-server.sh
-rwxr-xr-x. 1 root root 2235162 12月 31 14:39 udp-server-starter
[root@zhiyong1 bin]# stop-udp-server.sh

之后可以执行reboot重启，或者poweroff和shutdown关机。