启动hadoop集群

Posted 2021-01-18 413Xiaol

1.配置core-site.xml（每个节点上都要配置）
　　路径：
　　　　/usr/local/hadoop-2.7.3/etc/hadoop/core-site.xml
　　作用：
　　　　告诉所有机器master的相关信息
　　配置项：
　　　　name: fs.defaultFS
　　　　vale: hdfs://master的地址:端口
　　例如：
　　　　<property>
　　　　　　<name>fs.defaultFS</name>
　　　　　　<value>hdfs://192.168.0.104:9000</value>
　　　　</property>

2.配置hosts文件（每个节点上都要配置）
　　路径：
　　　　/etc/hosts
　　作用：
　　　　告诉集群中每个节点彼此的名字和ip地址
　　配置项：
　　　　ip hostname
　　例如：
　　　　192.168.0.104 master
　　　　192.168.0.105 slave1
　　　　192.168.0.107 slave2
　　如果不配置在启动node的时候会报类似于：java.net.UnknownHostException: master: master: unknown error
3.在master上启动namenode
　　格式化namenode
　　　　命令：hdfs namenode -format
　　　　地址：/tmp/hadoop-root/dfs/name
　　启动namenode
　　　　命令：hadoop-daemon.sh start namenode
　　　　日志记录在：/usr/local/hadoop-2.7.3/logs/hadoop-root-namenode-master.out
　　验证：jps
4.在所有slave上启动datanode
　　命令：hadoop-daemon.sh start datanode
　　验证：jps
5.查看集群
　　在master上执行netstat -tnpl
　　tcp 0 0 192.168.0.104:9000 0.0.0.0:* LISTEN 2853/java
　　tcp 0 0 0.0.0.0:50070 0.0.0.0:* LISTEN 2853/java
　　会发现，hadoop启动后，会监听9000端口和50070端口
　　9000端口是namenode和datanode通信的端口
　　50070端口是提供的web监控界面端口（需要关闭防火墙，否则无法访问）
　　web界面地址：http://192.168.0.104:50070/dfshealth.html#tab-overview
6.关闭集群
　　hadoop-daemon.sh stop namenode
　　hadoop-daemon.sh stop datanode
7.一键式启动
　　配置/usr/local/hadoop-2.7.3/etc/hadoop/slaves
　　　　[[email protected] hadoop]# cat slaves
　　　　slave1
　　　　slave2
　　　　这里需要关闭slave1和slave2的防火墙，否则不成功
　　　　slave1和slave2也是通过hosts里去找的
　　　　如果没有设置ssh登录，这里需要输入密码，建议设置ssh登录
　　　　start-dfs.sh也需要登录自己，如果做ssh登录也需要给自己的authorized_keys添加自己的id_rsa.pub
　　启动脚本：
　　　　master上执行：start-dfs.sh
8.一键式停止
　　master上执行：stop-dfs.sh