hadoop集群操作常用命令

Posted 2020-12-04 勿忘初心-Lislie杰

一、HDFS相关

1、启动NameNode

 

sbin/hadoop-daemon.sh start namenode

2、启动DataNode

sbin/hadoop-<span style="color:#ff0000;">daemon</span>.sh start datanode

[plain] view plain copy

 

1. <code class="language-plain">3、启动多个DataNode</code>  

sbin/hadoop-<span style="color:#ff0000;">daemons</span>.sh start datanode

[plain] view plain copy

 

1. <code class="language-plain">4、一次性启动Namenode和DataNode</code>  

sbin/start-dfs.sh

5、高可用集群NameNode节点切换

hadoop-daemon.sh stop zkfc
hadoop-daemon.sh start zkfc

二、YARN相关

1、启动Resource Manager

sbin/yarn-daemon.sh start resourcemanager

 

2、启动Node Manager

sbin/yarn-daemon.sh start nodemanager

[plain] view plain copy

 

1. <code class="language-plain">3、启动多个NodeManager</code>  

sbin/yarn-daemons.sh start nodemanager

[plain] view plain copy

 

1. <code class="language-plain">4、一次性启动ResourceManager 和 所有NodeManager</code>  

sbin/start-yarn.sh

5、启动Job Histroty Server

sbin/mr-jobhistory-daemon.sh start historyserver

三、查看服务

Hadoop主备查询和切换
（1）主备查询
hdfs haadmin -getServiceState nn1
yarn rmadmin -getServiceState rm1    
（2）主备切换
在Hadoop的各种HA中，有个隐藏属性是很多人不知道的，就是强制切换，一般来说，我们通过命令行切换HA，需要去运行
hdfs haadmin -transitionToActive/transitionToStandby nn2
yarn rmadmin -transitionToActive/transitionToStandby rm2
    但是，这种方式在启用了ZKFC做自动失效恢复的状态下是不允许修改的，提示信息里只说了可以强制执行，但是没有提供命令，其实强制切换主备命令很简单。加个forcemanual就好了。
hdfs haadmin -transitionToActive/transitionToStandby nn2 --forcemanual
    但是这样做的后果是，ZKFC将停止工作（我实践发现没停止工作，为啥？），你将不会再有自动故障切换的保障，但是有些时候，这是必须的，特别是有时候，Hadoop的NN在ZKFC正常工作的情况下，也会出现两个standby，两个standby的问题就在于诸如Hive和Pig这种东西，会直接报一个什么 Operation category READ is not supported in state standby 什么什么的，甚至你看着明明一个是active，一个是standby，也会报这个错误，这时候就必须手动强制切换了，强制切换完以后，别忘了重新启动ZKFC就好了。这个强制切换的要求就是用户必须没有任何对元数据的操作，这样才能有效的防止脑裂的发生。应该来说，进入安全模式再切换会比较稳妥一些。

转自https://blog.csdn.net/lazythinker/article/details/47836097