分布式集群(第二节Hadoop分布式模式搭建)
Posted 红目香薰
tags:
篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了分布式集群(第二节Hadoop分布式模式搭建)相关的知识,希望对你有一定的参考价值。
第二章、hadoop分布式集群
目录
2、远程拷贝jdk、hadoop、hadoop-eco.sh
前置内容:
1、java环境
2、hadoop环境
配置【vi /etc/profile.d/hadoop-eco.sh】
JAVA_HOME=/opt/jdk
PATH=$JAVA_HOME/bin:$PATH
HADOOP_HOME=/opt/hadoop
PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH
执行脚本【source /etc/profile.d/hadoop-eco.sh】
Hadoop分布式模式搭建流程:
1、修改配置文件
- hadoop-env.sh
- mapred-env.sh
- yarn-env.sh
- core-site.xml
- hdfs-site.xml
- mapred-site.xml
- yarn-site.xml
- slaves
1~3,添加或替换
export JAVA_HOME=/opt/jdk
4、配置【core-site.xml】
vi /opt/hadoop/etc/hadoop/core-site.xml
将【localhost】改为【master】
<property>
<name>fs.defaultFS</name>
<value>hdfs://master:9000</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/opt/soft/hadoop/data/tmp</value>
</property>
2、配置【hdfs-site.xml】
vi /opt/hadoop/etc/hadoop/hdfs-site.xml
<property>
<name>dfs.replication</name>
<value>3</value>
</property>
3、配置【mapred-site.xml】
vi /opt/hadoop/etc/hadoop/mapred-site.xml
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
4、配置【yarn-site.xml】
<property>
<name>yarn.resourcemanager.hostname</name>
<value>master</value>
</property>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
5、配置【slaves】文件
master
a1
a2
2、远程拷贝jdk、hadoop、hadoop-eco.sh
1、拷贝jdk
scp -r /opt/jdk a1:/opt/jdk
scp -r /opt/jdk a2:/opt/jdk
复制的比较慢,别急。
2、拷贝hadoop
scp -r /opt/hadoop a1:/opt/hadoop
scp -r /opt/hadoop a2:/opt/hadoop
3、拷贝hadoop-eco.sh
scp /etc/profile.d/hadoop-eco.sh a1:/etc/profile.d/hadoop-eco.sh
scp /etc/profile.d/hadoop-eco.sh a2:/etc/profile.d/hadoop-eco.sh
3、启动
关闭防火墙
三台机器分别关闭防火墙【systemctl stop firewalld】
禁止启动防火墙
三台机器分别禁用防火墙【systemctl disable firewalld】
格式化namenode
三台机器分别执行【source /etc/profile.d/hadoop-eco.sh】
主机master执行【hdfs namenode -format】
执行启动脚本
master执行:【start-all.sh】,过程中需要输入【yes】。
如果需要关闭:【stop-all.sh】
通过【jps】可以查看启动的服务
主机6个:
子机3个:
访问网页
http://192.168.52.131:50070/dfshealth.html#tab-datanode
配置文件下载地址:
https://download.csdn.net/download/feng8403000/85147346
创作挑战赛 新人创作奖励来咯,坚持创作打卡瓜分现金大奖以上是关于分布式集群(第二节Hadoop分布式模式搭建)的主要内容,如果未能解决你的问题,请参考以下文章