Spark亚太研究院系列丛书Spark实战高手之路-第一章 构建Spark集群（第五步）

Posted 2020-09-11 wgwyanfs

7,在SparkWorker1和SparkWorker2上完毕和SparkMaster相同的Hadoop 2.2.0操作，建议使用SCP命令把SparkMaster上安装和配置的Hadoop的各项内容复制到SparkWorker1和SparkWorker2上;

8,启动并验证Hadoop分布式集群

第一步：格式化hdfs文件系统：

第二步：进入sbin中启动hdfs，运行例如以下命令：

启动步骤例如以下：

此时我们发如今SparkMaster上启动了NameNode和SecondaryNameNode；

在SparkWorker1和SparkWorker2上均启动了DataNode：

此时訪问http://SparkMaster:50070 登录Web控制能够查看HDFS集群的状况：