hadoop 3.0.0 alpha1 分布式搭建

Posted 2020-08-12

一、节点参数

namenode	master	192.168.56.101
datanode	node0	192.168.56.102

二、配置主机名

192.168.56.101 master
192.168.56.102 node0

三、在master上，下载hadoop 3.0.0并解压

wget http://mirror.bit.edu.cn/apache/hadoop/common/hadoop-3.0.0-alpha1/hadoop-3.0.0-alpha1.tar.gz
cp  hadoop-3.0.0-alpha1.tar.gz /opt/
tar xvzf hadoop-3.0.0-alpha1.tar.gz

四、在所有节点上安装jdk

yum install java-1.8.0-openjdk -y

五、在master上配置hadoop

以下操作默认工作路径为


/opt/hadoop-3.0.0-alpha1

1、编辑etc/hadoop/core-site.xml

<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://192.168.56.101:9000</value>
    </property>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/opt/hadoop_root/hdfs/tmp</value>
    </property>
</configuration>

2、编辑etc/hadoop/hdfs-site.xml


<configuration>
    <property>
        <name>dfs.namenode.name.dir</name>
        <value>/opt/hadoop_root/hdfs/name</value>
    </property>
    <property>
        <name>dfs.datanode.data.dir</name>
        <value>/opt/hadoop_root/hdfs/data</value>
    </property>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
</configuration>

五、将master上配置好的hadoop复制到node0上

scp -r /opt/hadoop-3.0.0-alpha1 [email protected]:/opt/

六、启动hadoop

1、启动namenode，登录master

bin/hdfs --daemon start namenode

2、启动datanode，登录node0

bin/hdfs --daemon start datanode

至此，hdfs搭建完成

本文出自 “武陵荒草” 博客，请务必保留此出处http://penguintux.blog.51cto.com/3021117/1858147