分布式集群(第二节Hadoop分布式模式搭建)

Posted 红目香薰

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了分布式集群(第二节Hadoop分布式模式搭建)相关的知识,希望对你有一定的参考价值。

第二章、hadoop分布式集群

目录

Hadoop分布式模式搭建流程:

1、修改配置文件

2、远程拷贝jdk、hadoop、hadoop-eco.sh

3、启动

关闭防火墙

禁止启动防火墙

格式化namenode

执行启动脚本

访问网页

配置文件下载地址:


前置内容:

1、java环境

2、hadoop环境

配置【vi /etc/profile.d/hadoop-eco.sh】

JAVA_HOME=/opt/jdk
PATH=$JAVA_HOME/bin:$PATH
HADOOP_HOME=/opt/hadoop
PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH

执行脚本【source /etc/profile.d/hadoop-eco.sh】

Hadoop分布式模式搭建流程:

1、修改配置文件

  • hadoop-env.sh
  • mapred-env.sh
  • yarn-env.sh
  • core-site.xml
  • hdfs-site.xml
  • mapred-site.xml
  • yarn-site.xml
  • slaves

1~3,添加或替换

export JAVA_HOME=/opt/jdk

4、配置【core-site.xml】 

vi /opt/hadoop/etc/hadoop/core-site.xml

将【localhost】改为【master】

 <property>
   <name>fs.defaultFS</name>
   <value>hdfs://master:9000</value>
  </property>
 <property>
   <name>hadoop.tmp.dir</name>
   <value>/opt/soft/hadoop/data/tmp</value>
</property>

2、配置【hdfs-site.xml】 

vi /opt/hadoop/etc/hadoop/hdfs-site.xml
	<property>
		<name>dfs.replication</name>
		<value>3</value>
	</property>

3、配置【mapred-site.xml】

vi /opt/hadoop/etc/hadoop/mapred-site.xml
<property>
    <name>mapreduce.framework.name</name>
    <value>yarn</value>
</property>

4、配置【yarn-site.xml】

<property>
    <name>yarn.resourcemanager.hostname</name>
    <value>master</value>
</property>
<property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
</property>

5、配置【slaves】文件

master
a1
a2

2、远程拷贝jdk、hadoop、hadoop-eco.sh

1、拷贝jdk

scp -r /opt/jdk a1:/opt/jdk

scp -r /opt/jdk a2:/opt/jdk

 复制的比较慢,别急。

2、拷贝hadoop

scp -r /opt/hadoop a1:/opt/hadoop

scp -r /opt/hadoop a2:/opt/hadoop

3、拷贝hadoop-eco.sh

scp /etc/profile.d/hadoop-eco.sh a1:/etc/profile.d/hadoop-eco.sh
scp /etc/profile.d/hadoop-eco.sh a2:/etc/profile.d/hadoop-eco.sh

3、启动

关闭防火墙

三台机器分别关闭防火墙【systemctl stop firewalld】

禁止启动防火墙

三台机器分别禁用防火墙【systemctl disable firewalld】

格式化namenode

三台机器分别执行【source /etc/profile.d/hadoop-eco.sh】

主机master执行【hdfs namenode -format】

执行启动脚本

master执行:【start-all.sh】,过程中需要输入【yes】。

如果需要关闭:【stop-all.sh】

通过【jps】可以查看启动的服务

主机6个:

子机3个:

访问网页

http://192.168.52.131:50070/dfshealth.html#tab-datanode

配置文件下载地址:

https://download.csdn.net/download/feng8403000/85147346

创作挑战赛 新人创作奖励来咯,坚持创作打卡瓜分现金大奖

以上是关于分布式集群(第二节Hadoop分布式模式搭建)的主要内容,如果未能解决你的问题,请参考以下文章

Hadoop集群大数据平台搭建

Hadoop搭建伪分布式集群

写给大忙人看Hadoop完全分布式集群搭建

Hadoop搭建伪分布式集群转载

Hadoop学习搭建Hadoop的分布式集群

Hadoop学习之路Hadoop集群搭建模式和各模式问题