启动Hadoop HA Hbase zookeeper spark

Posted 2020-08-21

备注：我的公钥文件在/home/hxsyl/.ssh下不在/root/hxsyl下，通过

find / -name id_rsa

　　查找

1.
分别在每个机器上运行命令zkServer.sh start或者在$ZOOKEEPER_HOME/bin目录下运行./zkServer.sh start命令。然后可以通过命令jps来查看Zookeeper启动的进程QuorumPeerMain。 
可通过zkServer.sh status命令来查看Zookeeper状态。正常是机器中只有一个leader，其他的都是follow 
2.主节点执行

hdfs zkfc -formatZK

　　注意：最后的zk是大写，否则

6/11/30 20:31:45 FATAL tools.DFSZKFailoverController: Got a fatal error, exiting now
org.apache.hadoop.HadoopIllegalArgumentException: Bad argument: -formatzk

　　

他会根据$HADOOP_HOME/etc/hadoop/core-site.xml文件中ha.zookeeper.quorum的值来进行初始化。


这个需要确定开启了自动ha切换，否则不行。
但是现在

DFSZKFailoverController并没有启动，start zkfc后才可以，然后才是一个active，一个standby，

3.
注意：所有操作均在Hadoop部署目录下进行。

启动Hadoop集群：
Step1 :
在各个JournalNode节点上，输入以下命令启动journalnode服务：
sbin/hadoop-daemon.sh start journalnode
或者在mster执行

sbin/hadoop-daemons.sh start journalnode

注意第二种启动方法master节点并不是journalNode，需要单独启动，挺值得时候单独停止
4.
在[nn1]上，对其进行格式化，并启动：
bin/hdfs namenode -format
sbin/hadoop-daemon.sh start namenode

5.
在[nn2]上，同步nn1的元数据信息：
bin/hdfs namenode -bootstrapStandby

6.
启动[nn2]：
sbin/hadoop-daemon.sh start namenode

经过以上四步操作，nn1和nn2均处理standby状态
7.
将[nn1]切换为Active

有问题  如何配置自动切换的话 这个不要，强制手动 出现脑列问题....

bin/hdfs haadmin -transitionToActive nn1

8.
在[nn1]上，启动所有datanode
sbin/hadoop-daemons.sh start datanode
9.启动yarn
sbin/start-yarn.sh

在master1上多出ResourceManager进程，在slave1 slave2 slave3上多出NodeManager进程

10.启动zkfc

sbin/hadoop-daemons.sh start zkfc

　　注意这个和上面的启动journalNode式样的，damons的并没有启动master的zkfc，需要单独启动。

 

11.

sbin/mr-jobhistory-daemon.sh  start historyserver     原文配置在Stand上，我改成CentOSMaster上了。

 

 

11.启动hbase

bin/start-hbase.sh

 

关闭Hadoop集群： 在[nn1]上，输入以下命令 sbin/stop-dfs.sh 并没有停止上面的yarn和历史服务器 主节点的journalNode也没停止

进入spark的sbin目录下

start-all.sh

./start-history-server.sh

bin/spark-shell

 
12.关闭
a.zookeeper

bin/zkServer.sh stop