Hadoop 伪分布式集群安装

Posted 2022-03-11 我只想躺平

一、安装前准备工作

1、关闭 Selinux 、防火墙

[root@test127 ~]# setenforce 0
[root@test127 ~]# sed -i s/enforcing/disabled/ /etc/selinux/config

[root@test127 ~]# systemctl stop firewalld && systemctl disable firewalld

2、配置 Hosts 文件

[root@test127 ~]#  echo "test127  10.6.2.127 "   >> /etc/hosts
[root@test127 ~]# cat /etc/hosts
127.0.0.1   localhost localhost.localdomain localhost4 localhost4.localdomain4
::1         localhost localhost.localdomain localhost6 localhost6.localdomain6

test127  10.6.2.127

3、配置时间同步

[root@test127 ~]# yum -y install ntp

[root@test127 ~]# \\cp -f /usr/share/zoneinfo/Asia/Shanghai /etc/localtime
[root@test127 ~]# ntpdate ntp.aliyun.com
[root@test127 ~]# systemctl start ntpdate && systemctl enable ntpdate

二、安装 JDK 相关

1、安装 JDK 包
[root@test127 ~]# tar -zxvf jdk-8u131-linux-x64.tar.gz -C /usr/local/
[root@test127 ~]# cd /usr/local/jdk1.8.0_131/bin
[root@test127 ~]# ./java -version
ava version "1.8.0_131"
Java(TM) SE Runtime Environment (build 1.8.0_131-b11)
Java HotSpot(TM) 64-Bit Server VM (build 25.131-b11, mixed mode)

2、配置 JAVA 环境变量
[root@test127 ~]# cp /etc/profile /etc/profile.bak
[root@test127 ~]# vim /etc/profile     # 文本末尾追加下面两行
export JAVA_HOME=/usr/local/jdk1.8.0_131
export PATH=.:$PATH:$JAVA_HOME/bin

[root@test127 ~]# source /etc/profile
[root@test127 ~]# java -version
java version "1.8.0_131"
Java(TM) SE Runtime Environment (build 1.8.0_131-b11)
Java HotSpot(TM) 64-Bit Server VM (build 25.131-b11, mixed mode)

三、配置 SSH 免密登录

[root@test127 ~]# ssh-keygen -t rsa -P  -f ~/.ssh/id_rsa
[root@test127 ~]# ssh-copy-id 10.6.2.127

[root@test127 ~]# ssh 10.6.2.127      #  此操作必须执行
[root@test127 ~]# exit

四、 Hadoop 安装

1、安装

[root@test127 ~]# tar -zxvf hadoop-2.7.6.tar.gz -C /usr/local
[root@test127 ~]# cd /usr/local
[root@test127 local]#  mv hadoop-2.7.6 hadoop

2、修改相关配置文件

1、备份下要修改的配置文件

[root@test127 ~]# cd /usr/local/hadoop/etc/hadoop

[root@test127 hadoop]# cp hadoop-env.sh hadoop-env.sh.bak
[root@test127 hadoop]# cp yarn-env.sh yarn-env.sh.bak
[root@test127 hadoop]# cp core-site.xml core-site.xml.bak
[root@test127 hadoop]# cp hdfs-site.xml hdfs-site.xml.bak
[root@test127 hadoop]# cp yarn-site.xml yarn-site.xml.bak
[root@test127 hadoop]# cp mapred-site.xml.template mapred-site.xml

2、更改配置文件

[root@test127 hadoop]# vim hadoop-env.sh 
export JAVA_HOME=/usr/local/jdk1.8.0_131       #  修改对应的行

[root@test127 hadoop]# vim yarn-env.sh 
export JAVA_HOME=/usr/local/jdk1.8.0_131       #  增加这一行到最先出现 export 所在行的下面

[root@test127 hadoop]# vim core-site.xml 
<configuration>
        <property>
            <name>fs.defaultFS</name>
            <value>hdfs://test127:9000</value>
        </property>
        <property>
            <name>hadoop.tmp.dir</name>
            <value>/data/hadoop/tmpdata</value>
        </property>
</configuration>

[root@test127 hadoop]# vim hdfs-site.xml 
<configuration>   
        <property>
            <name>dfs.replication</name>
            <value>1</value>
        </property>
        <property>
            <name>dfs.namenode.name.dir</name>
            <value>/data/hadoop/data/namenode</value>
        </property>
        <property>
            <name>dfs.datanode.data.dir</name>
            <value>/data/hadoop/data/datanode</value>
        </property>    
</configuration>

[root@test127 hadoop]# vim yarn-site.xml 
<configuration>
        <property>
            <name>yarn.nodemanager.aux-services</name>
            <value>mapreduce_shuffle</value>
        </property>

        <property>
            <name>yarn.resourcemanager.hostname</name>
            <value>test127</value>
        </property>      
</configuration>

[root@test127 hadoop]# vim mapred-site.xml
<configuration>
        <property>
            <name>mapreduce.framework.name</name>
            <value>yarn</value>
        </property>
</configuration>

[root@test127 hadoop]# vim slaves
test127

3、创建相关目录

[root@test127 ~]# mkdir -pv /data/hadoop/tmpdata,data
[root@test127 ~]# mkdir -pv /data/hadoop/data/namenode,datanode

4、配置环境变量

[root@test127 ~]# cp /etc/profile /etc/profile.bak
[root@test127 ~]# vim /etc/profile      # 文本末尾追加下面两行
export HADOOP_HOME=/usr/local/hadoop
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

[root@test127 ~]# source /etc/profile

五、格式化并启动集群

1、格式化、启动集群

[root@test127 ~]# hadoop namenode -format
[root@test127 ~]# start-all.sh

#  也可以使用  start-dfs.sh 、start-yarn.sh 两个命令分别启动 HDFS 、YARN 两个集群

2、验证启动情况

[root@test127 ~]# jps
15264 Jps
14726 SecondaryNameNode
14567 DataNode
14987 NodeManager
14445 NameNode
14877 ResourceManager

[root@test127 ~]# netstat -lntp | grep 50070
tcp        0      0 0.0.0.0:50070           0.0.0.0:*               LISTEN      14445/java          
[root@test127 ~]# netstat -lntp | grep 8088
tcp6       0      0 10.6.2.127:8088         :::*                    LISTEN      14877/java          
[root@test127 ~]# netstat -lntp | grep 50090
tcp        0      0 0.0.0.0:50090           0.0.0.0:*               LISTEN      14726/java  

六、浏览器访问测试

1、访问地址

http://10.6.2.127:50070 、http://10.6.2.50090 、http://10.6.2.127:8088

2、集群截图