1.3.5 配置全分布模式Hadoop集群

Posted 2021-05-15 伏天大魔王

文件
$HADOOP_HOME/etc/hadoop
$HADOOP_HOME/share/doc/hadoop

ls /usr/local/hadoop-2.9.2/etc/hadoop

1.在系统配置文件目录/etc/profile.d/hadoop/sh新建hadoop.sh

su root
vim /etc/profile.d/hadoop.sh
以下是添加的内容
export HADOOP_HOME=/usr/local/hadoop-2.9.2
export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH

source /etc/profile.d/hadoop.sh
echo $PATH

 

进入hadoop：

cd /usr/local/hadoop-2.9.2/

cd etc/hadoop

 

02.配置hadoop-env.sh

vim hadoop-env.sh
25行export JAVA_HOME=/usr/java/jdk1.8.0_281
26行export HADOOP_SSH_OPTS=\'-o StrictHostKeyChecking=no\'
113行export HADOOP_PID_DIR=${HADOOP_HOME}/pids

03.配置 mapred-env.sh

vim  mapred-env.sh

第16行 export JAVA_HOME=/usr/java/jdk1.8.0_281
第28行 export HADOOP_MAPRED_PID_DIR=${HADOOP_HOME}/pids

 

04.配置yarn-env.sh

vim  yarn-env.sh

第23行 export JAVA_HOME=/usr/java/jdk1.8.0_281

最后一行 export YARN_PID_DIR=${HADOOP_HOME}/pids

 

05.配置 core-site.xml

vim core-site.xml

<configuration>
　　　　　　<property>
　　　　　　<name>fs.defaultFS</name>
　　　　　　<value>hdfs:192.168.23.100:9000</value>
　　　　　　</property>
　　　　　　<property>
　　　　　　<name>hadoop.tmp.dir</name>
　　　　　　<value>/usr/local/hadoop-2.9.2/hdfsdata</value>
　　　　　　</property>
　　　　　　<property>
　　　　　　<name>io.file.buffer.size</name>
　　　　　　<value>131072</value>
　　　　　　</property>
</configuration>

 

06.配置 hdfs-site.xml
vim hdfs-site.xml

 

07.配置 mapred-site.xml

vim mapred-site.xml
<configuration>
<property>

　　　　　　<name>mapreduce.framework.name</name>

　　　　　　<value>yuan</value>

　　　　　　</property>
</configuration>

 

08.配置 yarn-site.xml

vim    yarn-site.xml

<configuration>
　　　　　　<property>

　　　　　　<name>yarn.resourcemanager.hostname</name>

　　　　　　<value>master</value>

　　　　　　</property>

　　　　　　<property>

　　　　　　<name>yarn.nodemanger.aux-services</name>

　　　　　　<value>mapreduce_shuffle</value>

　　　　　　</property>
</configuration>

09.配置slaves

vim slaves
slave1
slave2

注：一定要删除默认值localhost 一定要删除

 

10.同步配置文件
此步骤下切换到ROOT用户下，将master节点上的文件hadoop.sh同步到其他两台从节点上
01.同步hadoop.sh
scp/etc/profile.d/hadoop.sh root@slavel:/etc/profile.d/
scp/etc/profile.d/hadoop.sh root@slave2:/etc/profile.d/

02.同步Hadoop配置文件
scp -r/usr/local/hadoop-2.9.2/etc/hadoop/*xuluhui@slave1:/usr/local/hadoop-2.9.2/etc/hadoop/
scp -r/usr/local/hadoop-2.9.2/etc/hadoop/*xuluhui@slave2:/usr/local/hadoop-2.9.2/etc/hadoop/