hadoop 完全分布式搭建总结

Posted 2022-10-11 yuanweiblogger

完全分布式---------------

1.配置文件

[core-site.xml]

　　 hdfs 地址 fs.defaultFS=hdfs://s129:8020/

[hdfs-site.xml] 副本
　　replication=1 //伪分布
　　replication=3 //完全分布

[mapred-site.xml] yarn框架
　　mapreduce.framework.name=yarn

[yarn-site.xml] 资源管理器主机名
　　rm.name=s129

[slaves]
　　s128
　　s127
　　s126

2.分发文件
a)ssh
　　openssh-server //sshd
　　openssh-clients //ssh
　　openssh //ssh-keygen

b)scp/rsync

3.格式化文件系统
　　$>hadoop namenode -format

4.启动hadoop所有进程
　　//start-dfs.sh + start-yarn.sh
$>start-all.sh

5.xcall.sh jps

创建符号连接 ln -s xxxx xx

　　ln -s /opt/jdk8/bin/java java

　　ln -s /opt/jdk8/bin/jps jps

 

 

　　/usr/local/bin/jps
　　/usr/local/bin/java

6.查看jps进程
       $>xcall.sh jps

　　 或

　　$>netstat -tunpl | grep  端口号

7.关闭centos的防火墙
　　$>sudo service firewalld stop // <=6.5 start/stop/status/restart
　　$>sudo systemctl stop firewalld // 7.0 停止 start/stop/status/restart

　　$>sudo systemctl disable firewalld //关闭
　　$>sudo systemctl enable firewalld //启用

7.最终通过webui
　　http://s201:50070/

 

符号连接
----------------
1.修改符号连接的owner
　　$>chown -h centos:centos xxx //-h:针对连接本身，而不是所指文件.

2.修改符号链接
　　$>ln -sfT index.html index //覆盖原有的连接。

 

运行命令

start-all.sh 启动所有的Hadoop守护进程。包括NameNode、 Secondary NameNode、DataNode、JobTracker、 TaskTrack
stop-all.sh 停止所有的Hadoop守护进程。包括NameNode、 Secondary NameNode、DataNode、JobTracker、 TaskTrack
start-dfs.sh 启动Hadoop HDFS守护进程NameNode、SecondaryNameNode和DataNode
stop-dfs.sh 停止Hadoop HDFS守护进程NameNode、SecondaryNameNode和DataNode
hadoop-daemons.sh start namenode 单独启动NameNode守护进程
hadoop-daemons.sh stop namenode 单独停止NameNode守护进程
hadoop-daemons.sh start datanode 单独启动DataNode守护进程
hadoop-daemons.sh stop datanode 单独停止DataNode守护进程
hadoop-daemons.sh start secondarynamenode 单独启动SecondaryNameNode守护进程
hadoop-daemons.sh stop secondarynamenode 单独停止SecondaryNameNode守护进程
start-mapred.sh 启动Hadoop MapReduce守护进程JobTracker和TaskTracker
stop-mapred.sh 停止Hadoop MapReduce守护进程JobTracker和TaskTracker
hadoop-daemons.sh start jobtracker 单独启动JobTracker守护进程
hadoop-daemons.sh stop jobtracker 单独停止JobTracker守护进程
hadoop-daemons.sh start tasktracker 单独启动TaskTracker守护进程
hadoop-daemons.sh stop tasktracker 单独启动TaskTracker守护进程