Hadoop的完全分布式部署

Posted 2022-08-15 valjeanshaw

目录

• 大纲
• 〇、Hadoop下载地址
• 一、分配机器环境
• 二、SSH配置
• 三、分布式配置部署
  • 启动

大纲

• 机器环境及SSH预处理
• hadoop安装部署

〇、Hadoop下载地址

采用apache官网下载地址进行下载
apache索引目录 Index of /dist

此处使用了 hadoop-3.1.2.tar.gz

一、分配机器环境

共3台机器
172.23.7.9
172.23.7.10
172.23.7.12

在每台机器使用hostname命令，查看机器命名

在每台机器上hosts配置文件
vim /etc/hosts

二、SSH配置

• 1 创建ssh，或者使用已有的ssh
  创建ssh命令

ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa

• 2 将其配置为无密码登录

cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
chmod 0600 ~/.ssh/authorized_keys

• 3 修改/etc/ssh/sshd_config 文件

需要修改的 如果有注释 就打开注释

RSAAuthentication yes 
PubkeyAuthentication yes #这两项为打开公钥模式 
AuthorizedKeysFile .ssh/authorized_keys #配置公钥记录文件 
PasswordAuthentication yes #打开密码验证模式

• 4 测试

ssh [hostname]

• 问题：
  若出现如下问题
  ssh_exchange_identification: read: Connection reset by peer
  解决方案：

# root权限
vim /etc/hosts.allow

# 追加
sshd: 172.23.*

# 重启ssh
service sshd restart

三、分布式配置部署

选取172.23.7.9 为namenode，剩余两个节点为datanode

• 1 修改hadoop-env.sh
  路径： ~/hadoop-3.1.2/sbin/hadoop-env.sh

#jdk绝对路径环境  因为要远程调用 $java_home找不到变量  
export JAVA_HOME=/usr/java/jdk1.8.0_141

• 2 修改core-site.xml
  路径：~/hadoop-3.1.2/etc/hadoop/core-site.xml

<configuration>
<!-- 修改defaultFS为hadoop1-->
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://[namenode机器hostname]:9000</value>
    </property>
<!-- 修改了临时文件存放位置-->
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/home/hadoop/apache/hadoop/tmp</value>
</property>
</configuration>

• 3 修改hdfs-site.xml
  路径：~/hadoop-3.1.2/etc/hadoop/hdfs-site.xml

<configuration>
<!-- 将备份数修改为3，小于等于当前datanode数目即可-->
    <property>
        <name>dfs.replication</name>
        <value>3</value>
    </property>
<!-- 将secondary namenode改为hadoop2-->
    <property>
        <name>dfs.namenode.secondary.http-address</name>
        <value>[一台非namenode机器hostname]:50090</value>
</property>
<property>
       <name>dfs.namenode.name.dir</name>
    <value>file://$hadoop.tmp.dir/dfs/name</value>
 </property>
 <property>
    <name>dfs.namenode.data.dir</name>
    <value>file://$hadoop.tmp.dir/dfs/data</value>
 </property>
 <property>
    <name>dfs.permissions.enabled</name>
    <value>false</value>
 </property>
</configuration>

• 4 修改yarn-site.xml
  路径：~/hadoop-3.1.2/etc/hadoop/yarn-site.xml

<configuration>
<!-- 添加了yarn.resourcemanager.hostname 属性-->
<property>
    <name>yarn.resourcemanager.hostname</name>
    <value>hadoop1</value>
</property>
 
<property>  
    <name>yarn.nodemanager.aux-services</name>  
    <value>mapreduce_shuffle</value>  
</property>  
<!-- 添加了yarn.nodemanager.auxservices.mapreduce.shuffle.class属性-->
<property>
    <name>yarn.nodemanager.auxservices.mapreduce.shuffle.class</name>
    <value>org.apache.hadoop.mapred.ShuffleHandler</value>
</property>
</configuration>

• 5 修改workers 配置
  路径：~/hadoop-3.1.2/etc/hadoop/workers

[datanode1即172.23.7.10 的hostname]
[datanode1即172.23.7.12 的hostname]

其他节点配置相同

启动

• 1 namenode上格式化

路径：~/hadoop-3.1.2/bin
./hdfs namenode -format

如出现以下异常
java.lang.UnsupportedClassVersionError
检查jdk版本，并配置对应版本

J2SE 8 = 52 (0x34 hex),
J2SE 7 = 51 (0x33 hex),
J2SE 6.0 = 50 (0x32 hex),
J2SE 5.0 = 49 (0x31 hex),
JDK 1.4 = 48 (0x30 hex),
JDK 1.3 = 47 (0x2F hex),
JDK 1.2 = 46 (0x2E hex),
JDK 1.1 = 45 (0x2D hex).

• 2 启动集群和yarn

路径：~/hadoop-3.1.2/sbin
./start-dfs.sh
./start-yarn.sh

• 3 测试

3.1 每个节点查看进程：
jps

3.2 登录管理页面
http://[namenode的IP]:9870