cent os 搭建伪分布式hadoop 3.1.1

Posted 2021-02-06 shine-rainbow

　　一.软件：

　　jdk1.8 : jdk-8u181-linux-x64.tar.gz

　　hadoop3.1.1:hadoop-3.1.1.tar.gz

二、工具：

　　VMVare Fusion 10系列

　　一台cent os 6.5 x64 主机

三、安装步骤：

　　1.准备linux环境

　　1.1.修改主机名

 vi /etc/sysconfig/network

　　添加hostname信息

HOSTNAME=node01

　　　1.2 配置网络信息

vi /etc/sysconfig/network-scripts/ifcfg-eth0 　　

　设置 onBOOT=yes,BOOTPROTO=static,ip等信息

 1 DEVICE=eth0
 2 HWADDR=00:0C:29:83:CA:73
 3 TYPE=Ethernet
 4 UUID=01955920-ced2-4dc3-a184-0a78255f40fe
 5 ONBOOT=yes
 6 NM_CONTROLLED=yes
 7 BOOTPROTO=static #在此处设置为静态方式ip static
 8 IPADDR=192.168.21.101
 9 NETMASK=255.255.255.0
10 GATEWAT=192.168.21.2
11 DNS1=114.114.114.114
12 DNS2=8.8.8.8

　　重启网络服务使刚才的配置立即生效

service network restart  

　　1.3 修改主机名和IP之间的映射关系

vi /etc/hosts

　　在最后一行添加主机名与ip之间的映射关系

127.0.0.1   localhost localhost.localdomain localhost4 localhost4.localdomain4
::1         localhost localhost.localdomain localhost6 localhost6.localdomain6
192.168.21.101 node01

　　1.4 关闭防火墙

# 查看防火墙状态
servvice iptables status
# 关闭防火墙
service iptables stop
# 查看防火墙开机启动状态
chkconfig iptables --list
# 关闭防火墙开机启动
chkconfig iptables off

　　1.5 配置jdk

　　

 tar -zxvf jdk-8u181-linux-x64.tar.gz 

　　配置到环境变量里

vi /etc/profile

　　末尾添加

JAVA_HOME=/usr/java/jdk1.8.0_181
PATH=$PATH:$JAVA_HOME/bin
export PATH 

　　重启服务使刚才的环境变量配置生效

source /etc/profile

　　2.配置hadoop3.1.1

　　 2.1 解压 hadoop

tar -zxvf hadoop-3.1.1.tar.gz 

　　2.2 修改如下的配置文件信息

cd hadoop3.1.1/etc/hadoop/

　　在hadoop-env.sh中的末尾添加配置

export JAVA_HOME=/usr/java/jdk1.8.0_181
export HDFS_DATANODE_USER=root
export HDFS_SECONDARYNAMENODE_USER=root
export HDFS_NAMENODE_USER=root

　　在core-site.xml中添加配置

<configuration>
        <property>
                <name>fs.defaultFS</name>
                <value>hdfs://node01:9820</value>
        </property>
        <property>
                <name>hadoop.tmp.dir</name>
                <value>/var/hadoop/presudo</value>
        </property>
</configuration>

　　在 hdfs-site.xml中配置

<configuration>
        <!--副本数量，在伪分布式里只有一个节点-->
        <property>
                <name>dfs.replication</name>
                <value>1</value>
        </property>
        <property>
                <name>dfs.namenode.secondary.http-address</name>
                <value>node01:9868</value>
        </property>
</configuration>

　　在works中添加配置(由于是伪分布式，只有一台node)

node01

　　2.3 格式化

./bin/hdfs namenode -format

　　2.4 启动

# 在hadoop根目录下
./sbin/start-dfs.sh

　　2.5 查看启动

jps

 

 　　也可以去查看端口信息

　　浏览器里地址栏输入 http://node01:9870/