centos7下hadoop3.0搭建文档

Posted 2020-10-10

tags:

篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了centos7下hadoop3.0搭建文档相关的知识，希望对你有一定的参考价值。

一准备资源和环境

下载Centos 7.2 的iso安装镜像，jdk1.8 for Linux压缩包，hadoop3.0.0压缩包。下载链接分别如下:

https://www.centos.org/download/

http://www.Oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html

http://hadoop.apache.org/releases.html

如下：

[[email protected] home]# ls

hadoop-3.0.0-alpha4 hadoop-3.0.0-alpha4.tar.gz jdk-8u101-linux-x64.rpm

[[email protected] home]#

准备三台centos7的系统：

Master:192.168.161.133

Slave1:192.168.161.135

Slave2:192.168.161.136

二安装jdk和hadoop

1 安装jdk

rpm -ivh jdk-8u101-linux-x64.rpm

查看jdk安装目录

rpm -qal|grep java

2 安装hadoop

进入home目录，直接解压hadoop即可

tar -zvxf hadoop-3.0.0-alpha4.tar.gz

3. 环境变量

vi /etc/profile

#Hadoop 3.0
export HADOOP_HOME=/home/hadoop-3.0.0-alpha4
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

source /etc/profile

注意：/home/hadoop-3.0.0-alpha4为解压路径

三配置hadoop

先在192.168.161.133上面配置hadoop，然后scp到slave上。

hadoop3.0需要配置的文件有core-site.xml、hdfs-site.xml、yarn-site.xml、mapred-site.xml、hadoop-env.sh、workers

新建目录：

cd /home/hadoop-3.0.0-alpha4

mkdir tmp

mkdir -p hdfs/{data,name}

1 core-site.xml配置文件

<name>fs.defaultFS</name>

</property>

<name>hadoop.tmp.dir</name>

<value>file:///home/hadoop-3.0.0-alpha4/tmp</value>

</property>

</configuration>

2 hdfs-site.xml配置文件

<name>dfs.replication</name>

</property>

<name>dfs.namenode.name.dir</name>

<value>file:///home/hadoop-3.0.0-alpha4/hdfs/name</value>

</property>

<name>dfs.datanode.data.dir</name>

<value>file:///home/hadoop-3.0.0-alpha4/hdfs/data</value>

</property>

<name>dfs.namenode.secondary.http-address</name>

</property>

</configuration>

3 works

192.168.161.135

192.168.161.136

4 mapred-site配置

<name>mapreduce.framework.name</name>

</property>

<name>mapreduce.application.classpath</name>

<value>

/home/hadoop-3.0.0-alpha4/etc/hadoop,

/home/hadoop-3.0.0-alpha4/share/hadoop/common/*,

/home/hadoop-3.0.0-alpha4/share/hadoop/common/lib/*,

/home/hadoop-3.0.0-alpha4/share/hadoop/hdfs/*,

/home/hadoop-3.0.0-alpha4/share/hadoop/hdfs/lib/*,

/home/hadoop-3.0.0-alpha4/share/hadoop/mapreduce/*,

/home/hadoop-3.0.0-alpha4/share/hadoop/mapreduce/lib/*,

/home/hadoop-3.0.0-alpha4/share/hadoop/yarn/*,

/home/hadoop-3.0.0-alpha4/share/hadoop/yarn/lib/*

</value>

</property>

</configuration>

5 yarn-site.xml配置

<name>yarn.nodemanager.aux-services</name>

<value>mapreduce_shuffle</value>

</property>

<name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>

<value>org.apache.hadoop.mapred.ShuffleHandle</value>

</property>

<name>yarn.resourcemanager.resource-tracker.address</name>

</property>

<name>yarn.resourcemanager.scheduler.address</name>

</property>

<name>yarn.resourcemanager.address</name>

</property>

</configuration>

6 hadoop-env.sh中配置java_home

export JAVA_HOME=/usr/java/jdk1.8.0_101

7 将配置好的hadoop文件夹传输到slave上面

cd /home/

scp -r hadoop-3.0.0-alpha4 [email protected]:/home/

8 配置服务主机名和域名IP解析

1 linux 配置主机、域名-ip

CentOS7下修改主机名

第一种：hostname 主机名

01.hostname 主机名称

这种方式，只能修改临时的主机名，当重启机器后，主机名称又变回来了。

第二种：hostnamectl set-hostname <hostname>

命令行中输入

hostnamectl set-hostname <主机名>

使用这种方式修改，可以永久性的修改主机名称！

1 修改主机名

192.168.161.133 hostnamectl set-hostname master

192.168.161.135 hostnamectl set-hostname slave1

192.168.161.136 hostnamectl set-hostname slave2

/etc/hostname 中会自动更新

2 建立域名IP解析

在192.168.161.133中建立域名解析到ip

vi /etc/hosts

192.168.161.133 master

192.168.161.135 slave1

192.168.161.136 slave2

2 windows本地配置域名解析

像linux的/etc/hosts一样，windows也有一个类似的hosts文件

C:/WINDOWS/system32/drivers/etc/hosts

在这里可以设置本地域名

本地域名是比远程DNS优先级要高的，

所以可以在这里设置本地域名，让域名指向你想要的ip，

特别是在远程域名与多个ip绑定，而你只希望其指向某一个ip的时候

四启动hadoop

1. 格式化namenode

bin/hdfs namenode -format

2. 启动dfs及yarn

sbin/start-dfs.sh

sbin/start-yarn.sh

启动会报错，解决方法：

2.1 sbin/start-dfs.sh 报错：

是因为缺少用户定义造成的，所以分别编辑开始和关闭脚本
vim sbin/start-dfs.sh
vim sbin/stop-dfs.sh
在顶部空白处添加内容：
HDFS_DATANODE_USER=root
HADOOP_SECURE_DN_USER=hdfs
HDFS_NAMENODE_USER=root
HDFS_SECONDARYNAMENODE_USER=root