群起集群

Posted 2020-12-20 xiaoran991

配置 slaves

[xiaoran@hadoop102 hadoop-2.7.2]$ vim etc/hadoop/slaves

添加（注意：一定不能有多余的空格和空行）

hadoop102
hadoop103
hadoop104

同步所有节点配置文件

[xiaoran@hadoop102 hadoop-2.7.2]$ xsync etc/hadoop/slaves

启动集群

前提

如果集群是第一次启动，需要格式化 NameNode（注意格式化之前，一定要先停止上次启动的所有 namenode 和 datanode 进程，然后再删除 data 和 log 数据）

[xiaoran@hadoop102 hadoop-2.7.2]$ bin/hdfs namenode -format

启动 HDFS

[xiaoran@hadoop102 hadoop-2.7.2]$ sbin/start-dfs.sh

[xiaoran@hadoop102 hadoop-2.7.2]$ jps
5923 Jps
5561 NameNode
5695 DataNode

[xiaoran@hadoop103 hadoop-2.7.2]$ jps
2848 DataNode
2928 Jps

[xiaoran@hadoop104 hadoop-2.7.2]$ jps
2758 Jps
2599 DataNode
2665 SecondaryNameNode

启动 YARN

注意：NameNode和ResourceManger如果不是同一台机器，不能在NameNode上启动 YARN，应该在ResouceManager所在的机器上启动YARN。

[xiaoran@hadoop103 hadoop-2.7.2]$ sbin/start-yarn.sh

[xiaoran@hadoop102 hadoop-2.7.2]$ jps
6086 Jps
5976 NodeManager
5561 NameNode
5695 DataNode

[xiaoran@hadoop103 hadoop-2.7.2]$ jps
3392 Jps
2848 DataNode
3093 NodeManager
2983 ResourceManager

[xiaoran@hadoop104 hadoop-2.7.2]$ jps
2599 DataNode
2665 SecondaryNameNode
2814 NodeManager
2927 Jps

Web端查看 SecondaryNameNode

http://hadoop104:50090/status.html

测试

上传文件

[xiaoran@hadoop104 hadoop-2.7.2]$ bin/hdfs dfs -put wcinput/wc.input /
[xiaoran@hadoop104 hadoop-2.7.2]$ bin/hdfs dfs -put /opt/software/hadoop-2.7.2.tar.gz /

查看存储位置

[xiaoran@hadoop104 subdir0]$ pwd
/opt/module/hadoop-2.7.2/data/tmp/dfs/data/current/BP-224427786-192.168.229.102-1603818351607/current/finalized/subdir0/subdir0
[xiaoran@hadoop104 subdir0]$ ll
总用量 194552
-rw-rw-r--. 1 xiaoran xiaoran       108 10月 29 07:24 blk_1073741831
-rw-rw-r--. 1 xiaoran xiaoran        11 10月 29 07:24 blk_1073741831_1007.meta
-rw-rw-r--. 1 xiaoran xiaoran 134217728 10月 29 07:24 blk_1073741832
-rw-rw-r--. 1 xiaoran xiaoran   1048583 10月 29 07:24 blk_1073741832_1008.meta
-rw-rw-r--. 1 xiaoran xiaoran  63439959 10月 29 07:24 blk_1073741833
-rw-rw-r--. 1 xiaoran xiaoran    495635 10月 29 07:24 blk_1073741833_1009.meta

拼接

[xiaoran@hadoop104 subdir0]$ cat blk_1073741832 >> tmp.txt
[xiaoran@hadoop104 subdir0]$ cat blk_1073741833 >> tmp.txt 
[xiaoran@hadoop104 subdir0]$ ll
总用量 387580
-rw-rw-r--. 1 xiaoran xiaoran       108 10月 29 07:24 blk_1073741831
-rw-rw-r--. 1 xiaoran xiaoran        11 10月 29 07:24 blk_1073741831_1007.meta
-rw-rw-r--. 1 xiaoran xiaoran 134217728 10月 29 07:24 blk_1073741832
-rw-rw-r--. 1 xiaoran xiaoran   1048583 10月 29 07:24 blk_1073741832_1008.meta
-rw-rw-r--. 1 xiaoran xiaoran  63439959 10月 29 07:24 blk_1073741833
-rw-rw-r--. 1 xiaoran xiaoran    495635 10月 29 07:24 blk_1073741833_1009.meta
-rw-rw-r--. 1 xiaoran xiaoran 197657687 10月 29 07:29 tmp.txt
[xiaoran@hadoop104 subdir0]$ tar -zxvf tmp.txt