hadoop 完全分布式搭建总结

Posted yuanweiblogger

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了hadoop 完全分布式搭建总结相关的知识,希望对你有一定的参考价值。

完全分布式---------------

1.配置文件

[core-site.xml]

   hdfs 地址 fs.defaultFS=hdfs://s129:8020/

[hdfs-site.xml] 副本
  replication=1 //伪分布
  replication=3 //完全分布

[mapred-site.xml] yarn框架
  mapreduce.framework.name=yarn

[yarn-site.xml] 资源管理器主机名
  rm.name=s129

[slaves]
  s128
  s127
  s126

2.分发文件
a)ssh
  openssh-server //sshd
  openssh-clients //ssh
  openssh //ssh-keygen

b)scp/rsync

3.格式化文件系统
  $>hadoop namenode -format

4.启动hadoop所有进程
  //start-dfs.sh + start-yarn.sh
$>start-all.sh

5.xcall.sh jps

创建符号连接 ln -s xxxx xx

  ln -s /opt/jdk8/bin/java java

  ln -s /opt/jdk8/bin/jps jps

技术图片

 

 

  /usr/local/bin/jps
  /usr/local/bin/java

6.查看jps进程
       $>xcall.sh jps

   或

  $>netstat -tunpl | grep  端口号

7.关闭centos的防火墙
  $>sudo service firewalld stop // <=6.5 start/stop/status/restart
  $>sudo systemctl stop firewalld // 7.0 停止 start/stop/status/restart

  $>sudo systemctl disable firewalld //关闭
  $>sudo systemctl enable firewalld //启用


7.最终通过webui
  http://s201:50070/

 

符号连接
----------------
1.修改符号连接的owner
  $>chown -h centos:centos xxx //-h:针对连接本身,而不是所指文件.

2.修改符号链接
  $>ln -sfT index.html index //覆盖原有的连接。

 

运行命令

start-all.sh 启动所有的Hadoop守护进程。包括NameNode、 Secondary NameNode、DataNode、JobTracker、 TaskTrack
stop-all.sh 停止所有的Hadoop守护进程。包括NameNode、 Secondary NameNode、DataNode、JobTracker、 TaskTrack
start-dfs.sh 启动Hadoop HDFS守护进程NameNode、SecondaryNameNode和DataNode
stop-dfs.sh 停止Hadoop HDFS守护进程NameNode、SecondaryNameNode和DataNode
hadoop-daemons.sh start namenode 单独启动NameNode守护进程
hadoop-daemons.sh stop namenode 单独停止NameNode守护进程
hadoop-daemons.sh start datanode 单独启动DataNode守护进程
hadoop-daemons.sh stop datanode 单独停止DataNode守护进程
hadoop-daemons.sh start secondarynamenode 单独启动SecondaryNameNode守护进程
hadoop-daemons.sh stop secondarynamenode 单独停止SecondaryNameNode守护进程
start-mapred.sh 启动Hadoop MapReduce守护进程JobTracker和TaskTracker
stop-mapred.sh 停止Hadoop MapReduce守护进程JobTracker和TaskTracker
hadoop-daemons.sh start jobtracker 单独启动JobTracker守护进程
hadoop-daemons.sh stop jobtracker 单独停止JobTracker守护进程
hadoop-daemons.sh start tasktracker 单独启动TaskTracker守护进程
hadoop-daemons.sh stop tasktracker 单独启动TaskTracker守护进程

 

以上是关于hadoop 完全分布式搭建总结的主要内容,如果未能解决你的问题,请参考以下文章

hadoop完全分布式集群搭建(超详细)-大数据集群搭建

集群搭建Hadoop搭建HDFS(完全分布式)

Hadoop完全分布式搭建

Hadoop基础教程4Hadoop之完全分布式环境搭建

Hadoop完全分布式集群搭建

Hadoop完全分布式集群搭建