4.Hadoop集群搭建之启动

Posted 2020-11-07 McHades

配置好Hadoop、HDFS、YARN、Zookeeper集群后，需要按照顺序启动。

前期准备

• 配置好Hadoop、HDFS、YARN、Zookeeper集群
• 先stop掉所有的hadoop服务

使用jps命令查看进程，确保只有Jps进程存在，没有其他的Hadoop服务进程。若存在Hadoop服务进程，使用命令kill -9 进程id来关闭进程。

1. 启动zookeeper集群（分别在master、slave1、slave2上启动zk）

• 在~/zookeeper-3.4.5/bin/下执行

    ./zkServer.sh start

• 验证：分别在节点上执行

   ./zkServer.sh status

  可以查看节点状态，一个leader，两个follower。

2. 启动journalnode（分别在在master、slave1、slave2上执行）

• 使用命令hadoop-daemon.sh start journalnode

• 验证：运行jps命令检验，master、slave1、slave2上多了JournalNode进程

3. 格式化HDFS(在master上执行即可)

• 执行命令hdfs namenode -format

• 验证：格式化后会在根据core-site.xml中的hadoop.tmp.dir配置生成个文件，这里我配置的是/home/hadoop/app/hadoop-2.4.1/data，然后将/usr/local/hadoop-2.4.0/data拷贝到slave1的/home/hadoop/app/hadoop-2.4.1/下

    scp -r data/ slave1:/home/hadoop/app/hadoop-2.4.1

4. 格式化ZK(在master上执行即可)

      hdfs zkfc -formatZK

5. 启动HDFS(在master上执行即可)

      start-dfs.sh

注：namenode进程如果启动失败，手动执行命令hadoop-daemon.sh start namenode启动namenode进程。

6. 启动YARN(在master上操作)

      start-yarn.sh

至此，Hadoop2.4.1配置完毕，可以统计浏览器访问

http://192.168.1.201:50070
NameNode ‘192.168.1.201‘ (tandby)
http://192.168.1.202:50070
NameNode ‘192.168.1.202:9000‘ (actives)