Hadoop运行环境搭建
Posted 小Ti客栈
tags:
篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了Hadoop运行环境搭建相关的知识,希望对你有一定的参考价值。
-
1. 虚拟机环境准备
1.1准备虚拟机(Centos7)
1.2配置静态IP
(1) 修改网卡配置文件
vi /etc/sysconfig/network-scripts/ifcfg-ens33 #(最后一个为网卡名称)
(2) 虚拟机修改和添加,按i进入编辑模式
bootproto=static
onboot=yes
IPADDR=192.168.1.160 #IP地址,和主机同一个网段即可
NETMASK=255.255.255.0 #子网掩码
GATEWAY=192.168.1.1 #网关
DNS1=119.29.29.29 #dns服务器
DNS2=8.8.8.8 #dns服务器
(3) 保存并退出
:wq
(4) 重启网络服务
systemctl restart network
(5) 输入命令查看虚拟机IP地址
ip addr
(6) 测试ping通外网
ping www.baidu.com
1.3创建hadoop用户并赋予root权限
(1) 创建用户
adduser hadoop
(2) 添加组
groupadd hadoop
(3) 用户修改组
usermod -G hadoop hadoop # groupname username
(4) 修改密码
passwd hadoop
(5) 通过root账号赋权
chmod +w /etc/sudoers
(6) 编辑/etc/sudoers
vi /etc/sudoers
(7) 添加如下内容
hadoop ALL=(ALL) ALL
(8) 取消 sudoers 文件可写权限
chmod -w /etc/sudoers
(9) 切换hadoop用户
su hadoop
1.4修改主机名
(1) 编辑文件hostsname
sudo vi /etc/hostname
(2) 删除原有的,输入想要的主机名
(3) 保存并退出
:wq
1.5关闭防火墙
sudo systemctl stop firewalld
1.6在/opt目录下创建文件夹
(1) 在/opt目录下创建module、software文件夹
sudo mkdir /opt/module
sudo mkdir /opt/software
(2) 修改module、software文件夹的所有者cd
sudo chown hadoop:hadoop /opt/module/ /opt/software/
(3) 查看文件所属者
ll /opt
2. 安装JDK
2.1.卸载现有JDK
(1)查询是否安装Java软件:
rpm -qa | grep java
(2)如果安装的版本低于1.7,卸载该JDK:
sudo rpm -e 软件包
(3)查看JDK安装路径:
which java
2.2通过第Finalshell将下载好的JDK导入到opt目录下面的software文件夹下
2.3在Linux系统下的opt目录中查看软件包是否导入成功
cd /opt/software
ls
2.4解压JDK到/opt/module目录下
tar -zxvf jdk-8u65-linux-x64.tar.gz -C /opt/module/
2.5配置JDK环境变量
(1)先获取JDK路径
[hadoop@master jdk1.8.0_65]$ pwd
/opt/module/jdk1.8.0_65
(2)打开/etc/profile文件
[hadoop@master jdk1.8.0_65]$ sudo vi /etc/profile
在profile文件末尾添加JDK路径
#JAVA_HOME
export JAVA_HOME=/opt/module/jdk1.8.0_65
export PATH=$PATH:$JAVA_HOME/bin
(3)保存后退出
:wq
(4)让修改后的文件生效
[hadoop@master jdk1.8.0_65]$ source /etc/profile
2.6测试JDK是否安装成功
[hadoop@master jdk1.8.0_65]$ java -version
3. 安装Hadoop
3.1 Hadoop下载地址
https://archive.apache.org/dist/hadoop/common/hadoop-2.7.1/
3.2用Finalshell工具将hadoop-2.7.1.tar.gz导入到opt目录下面的software文件夹下面
如2.2一般操作
3.3 解压Hadoop
[hadoop@master software]$ tar -zxvf hadoop-2.7.1_64bit.tar.gz -C /opt/module/
[hadoop@master software]$ cd /opt/module/hadoop-2.7.1/
3.4 将Hadoop添加到环境变量
(1)获取Hadoop安装路径
[hadoop@master hadoop-2.7.1]$ pwd
/opt/module/hadoop-2.7.1
(2)打开/etc/profile文件
[hadoop@master hadoop-2.7.1]$ sudo vi /etc/profile
在profile文件末尾添加JDK路径:(shitf+g)
##HADOOP_HOME
export HADOOP_HOME=/opt/module/hadoop-2.7.1
export PATH=$PATH:$HADOOP_HOME/bin
export PATH=$PATH:$HADOOP_HOME/sbin
(3)保存后退出
:wq
(4)让修改后的文件生效
[atguigu@ hadoop101 hadoop-2.7.1]$ source /etc/profile
3.5 测试是否安装成功
[hadoop@master hadoop-2.7.1]$ hadoop version
Hadoop 2.7.1
3.6 Hadoop目录结构
(1)查看hadoop目录
[hadoop@master hadoop-2.7.1]$ ll
总用量 28
drwxr-xr-x. 2 hadoop hadoop 194 6月 29 2015 bin
drwxr-xr-x. 3 hadoop hadoop 20 6月 29 2015 etc
drwxr-xr-x. 2 hadoop hadoop 106 6月 29 2015 include
drwxr-xr-x. 3 hadoop hadoop 20 6月 29 2015 lib
drwxr-xr-x. 2 hadoop hadoop 239 6月 29 2015 libexec
-rw-r--r--. 1 hadoop hadoop 15429 6月 29 2015 LICENSE.txt
-rw-r--r--. 1 hadoop hadoop 101 6月 29 2015 NOTICE.txt
-rw-r--r--. 1 hadoop hadoop 1366 6月 29 2015 README.txt
drwxr-xr-x. 2 hadoop hadoop 4096 6月 29 2015 sbin
drwxr-xr-x. 4 hadoop hadoop 31 6月 29 2015 share
(2)重要目录
bin目录:存放对Hadoop相关服务(HDFS,YARN)进行操作的脚本
etc目录:Hadoop的配置文件目录,存放Hadoop的配置文件
lib目录:存放Hadoop的本地库(对数据进行压缩解压缩功能)
sbin目录:存放启动或停止Hadoop相关服务的脚本
share目录:存放Hadoop的依赖jar包、文档、和官方案例
4. Hadoop运行模式
Hadoop运行模式包括:本地模式、伪分布式模式以及完全分布式模式。
Hadoop官方网站:http://hadoop.apache.org/
4.1本地运行模式
4.1.1官方Grep案例
(1)创建在hadoop-2.7.1文件下面创建一个input文件夹
[hadoop@master hadoop-2.7.1]$ mkdir input
(2)将Hadoop的xml配置文件复制到input
[hadoop@master hadoop-2.7.1]$ cp etc/hadoop/*.xml input
(3)执行share目录下的MapReduce程序
[hadoop@master hadoop-2.7.1]$ bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.1.jar grep input output \'dfs[a-z.]+\'
(4)查看输出结果
[hadoop@master hadoop-2.7.1]$ cat output/*
1 dfsadmin
4.1.2 官方WordCount案例
(1)创建在hadoop-2.7.1文件下面创建一个wcinput文件夹
[hadoop@master hadoop-2.7.1]$ mkdir wcinput
(2)在wcinput文件下创建一个wc.input文件
[hadoop@master hadoop-2.7.1]$ cd wcinput
[hadoop@master wcinput]$ touch wc.input
(3)编辑wc.input文件
[hadoop@master wcinput]$ vi wc.input
在文件中输入如下内容
hadoop yarn
hadoop mapreduce
taike
taike
保存退出::wq
(4)回到Hadoop目录/opt/module/hadoop-2.7.1
(5)执行程序
[hadoop@master hadoop-2.7.1]$ hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.1.jar wordcount wcinput wcoutput
(6)查看结果
[hadoop@master hadoop-2.7.1]$ cat wcoutput/part-r-00000
4.2伪分布式运行模式
4.2.1 启动HDFS并运行MapReduce程序
1. 分析
(1)配置集群
(2)启动、测试集群增、删、查
(3)执行WordCount案例
2. 执行步骤
(1)配置集群
(a)配置:hadoop-env.sh
Linux系统中获取JDK的安装路径:
[hadoop@master hadoop-2.7.1]$ echo $JAVA_HOME
/opt/module/jdk1.8.0_65
修改JAVA_HOME 路径:
export JAVA_HOME=/opt/module/jdk1.8.0_65
(b)配置:/opt/module/hadoop-2.7.1/etc/hadoop/core-site.xml
<!-- 指定HDFS中NameNode的地址 -->
<property>
<name>fs.defaultFS</name>
<value>hdfs://master:9000</value>
</property>
<!-- 指定Hadoop运行时产生文件的存储目录 -->
<property>
<name>hadoop.tmp.dir</name>
<value>/opt/module/hadoop-2.7.1/data/tmp</value>
</property>
(c)配置:/opt/module/hadoop-2.7.1/etc/hadoop/hdfs-site.xml
<!-- 指定HDFS副本的数量 -->
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
(2)启动集群
(a)格式化NameNode(第一次启动时格式化,以后就不要总格式化)
[hadoop@master hadoop-2.7.1]$ bin/hdfs namenode -format
(b)启动NameNode
[hadoop@master hadoop-2.7.1]$ sbin/hadoop-daemon.sh start namenode
(c)启动DataNode
[hadoop@master hadoop-2.7.1]$ sbin/hadoop-daemon.sh start datanode
(3)查看集群
(a)查看是否启动成功
[hadoop@master hadoop-2.7.1]$ jps
13586 NameNode
13668 DataNode
13786 Jps
注意:jps是JDK中的命令,不是Linux命令。不安装JDK不能使用jps
(b)web端查看HDFS文件系统
http://master:50070/dfshealth.html#tab-overview
注意:如果不能查看,看如下帖子处理
http://www.cnblogs.com/zlslch/p/6604189.html
(c)查看产生的Log日志
说明:在企业中遇到Bug时,经常根据日志提示信息去分析问题、解决Bug。
当前目录:/opt/module/hadoop-2.7.1/logs
[hadoop@master hadoop-2.7.1]$ ls
hadoop-atguigu-datanode-hadoop.atguigu.com.log
hadoop-atguigu-datanode-hadoop.atguigu.com.out
hadoop-atguigu-namenode-hadoop.atguigu.com.log
hadoop-atguigu-namenode-hadoop.atguigu.com.out
SecurityAuth-root.audit
[hadoop@master hadoop-2.7.1]$ cat hadoop-atguigu-datanode-hadoop101.log
(d)思考:为什么不能一直格式化NameNode,格式化NameNode,要注意什么?
[hadoop@master hadoop-2.7.1]$ cd data/tmp/dfs/name/current/
[hadoop@master hadoop-2.7.1]$ cat VERSION
clusterID=CID-f0330a58-36fa-4a2a-a65f-2688269b5837
[hadoop@master hadoop-2.7.1]$ cd data/tmp/dfs/data/current/
clusterID=CID-f0330a58-36fa-4a2a-a65f-2688269b5837
注意:格式化NameNode,会产生新的集群id,导致NameNode和DataNode的集群id不一致,集群找不到已往数据。所以,格式NameNode时,一定要先删除data数据和log日志,然后再格式化NameNode。
(4)操作集群
(a)在HDFS文件系统上创建一个input文件夹
[hadoop@master hadoop-2.7.1]$ bin/hdfs dfs -mkdir -p /user/atguigu/input
(b)将测试文件内容上传到文件系统上
[hadoop@master hadoop-2.7.1]$bin/hdfs dfs -put wcinput/wc.input
/user/atguigu/input/
(c)查看上传的文件是否正确
[hadoop@master hadoop-2.7.1]$bin/hdfs dfs -ls /user/atguigu/input/
[hadoop@master hadoop-2.7.1]$bin/hdfs dfs -cat /user/atguigu/ input/wc.input
(d)运行MapReduce程序
[hadoop@master hadoop-2.7.1]$bin/hadoop jar
share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.1.jar wordcount /user/atguigu/input/ /user/atguigu/output
(e)查看输出结果
命令行查看:
[hadoop@master hadoop-2.7.1]$bin/hdfs dfs -cat /user/atguigu/output/*
(f)将测试文件内容下载到本地
[hadoop@master hadoop-2.7.1]$ hdfs dfs -get /user/atguigu/output/part-r-00000 ./wcoutput/
(g)删除输出结果
[hadoop@master hadoop-2.7.1]$ hdfs dfs -rm -r /user/atguigu/output
4.2.2 启动YARN并运行MapReduce程序
1. 分析
(1)配置集群在YARN上运行MR
(2)启动、测试集群增、删、查
(3)在YARN上执行WordCount案例
2. 执行步骤
(1)配置集群
(a)配置yarn-env.sh
配置一下JAVA_HOME
export JAVA_HOME=/opt/module/jdk1.8.0_65
(b)配置yarn-site.xml
<!-- Reducer获取数据的方式 -->
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<!-- 指定YARN的ResourceManager的地址 -->
<property>
<name>yarn.resourcemanager.hostname</name>
<value>master</value>
</property>
(c)配置:mapred-env.sh
配置一下JAVA_HOME
export JAVA_HOME=/opt/module/jdk1.8.0_65
(d)配置: (对mapred-site.xml.template重新命名为) mapred-site.xml
[atguigu@hadoop101 hadoop]$ mv mapred-site.xml.template mapred-site.xml
[atguigu@hadoop101 hadoop]$ vi mapred-site.xml
<!-- 指定MR运行在YARN上 -->
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
(2)启动集群
(a)启动前必须保证NameNode和DataNode已经启动
(b)启动ResourceManager
[hadoop@master hadoop]$ sbin/yarn-daemon.sh start resourcemanager
(c)启动NodeManager
[hadoop@master hadoop]$ sbin/yarn-daemon.sh start nodemanager
(3)集群操作
(a)YARN的浏览器页面查看
http://master:8088/cluster
(b)删除文件系统上的output文件
[hadoop@master hadoop]$ bin/hdfs dfs -rm -R /user/atguigu/output
(c)执行MapReduce程序
[[hadoop@master hadoop]$ bin/hadoop jar
share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.1.jar wordcount /user/atguigu/input /user/atguigu/output
(d)查看运行结果
[hadoop@master hadoop]$ bin/hdfs dfs -cat /user/atguigu/output/*
4.2.3 配置文件说明
Hadoop配置文件分两类:默认配置文件和自定义配置文件,只有用户想修改某一默认配置值时,才需要修改自定义配置文件,更改相应属性值。
(1)默认配置文件:
表4-1
要获取的默认文件
文件存放在Hadoop的jar包中的位置
[core-default.xml]
hadoop-common-2.7.1.jar/ core-default.xml
[hdfs-default.xml]
hadoop-hdfs-2.7.1.jar/ hdfs-default.xml
[yarn-default.xml]
hadoop-yarn-common-2.7.1.jar/ yarn-default.xml
[mapred-default.xml]
hadoop-mapreduce-client-core-2.7.1.jar/ mapred-default.xml
(2)自定义配置文件:
core-site.xml、hdfs-site.xml、yarn-site.xml、mapred-site.xml四个配置文件存放在$HADOOP_HOME/etc/hadoop这个路径上,用户可以根据项目需求重新进行修改配置。
4.3完全分布式运行模式
分析:
1)准备3台客户机(关闭防火墙、静态ip、主机名称)
2)安装JDK
3)配置环境变量
4)安装Hadoop
5)配置环境变量
6)配置集群
7)单点启动
8)配置ssh
9)群起并测试集群
4.3.1虚拟机准备
详见上文1虚拟机环境准备
4.3.2修改三台虚拟机hosts文件
[hadoop@master opt]$ sudo vi /etc/hosts
#127.0.0.1 localhost localhost.localdomain localhost4 localhost4.localdomain4
#::1 localhost localhost.localdomain localhost6 localhost6.localdomain6
172.16.23.200 master
172.16.23.201 slave1
172.16.23.202 slave2
4.3.3配置集群
(1)核心配置文件
配置core-site.xml
[hadoop@master hadoop]$ cd /opt/module/hadoop-2.7.1/etc/hadoop/
[hadoop@master hadoop]$ vi core-site.xml
在该文件中编写如下配置
<!-- 指定HDFS中NameNode的地址 -->
<property>
<name>fs.defaultFS</name>
<value>hdfs://master:9000</value>
</property>
<!-- 指定Hadoop运行时产生文件的存储目录 -->
<property>
<name>hadoop.tmp.dir</name>
<value>/opt/module/hadoop-2.7.1/data/tmp</value>
</property>
(2)HDFS配置文件
配置hadoop-env.sh
[hadoop@master hadoop]$ vi hadoop-env.sh
export JAVA_HOME=/opt/module/jdk1.8.0_65
配置hdfs-site.xml
[hadoop@master hadoop]$ vi hdfs-site.xml
在该文件中编写如下配置
<property>
<name>dfs.replication</name>
<value>3</value>
</property>
<!-- 指定Hadoop辅助名称节点主机配置 -->
<property>
<name>dfs.namenode.secondary.http-address</name>
<value>slave1:50090</value>
</property>
(3)YARN配置文件
配置yarn-env.sh
[hadoop@master hadoop]$ vi yarn-env.sh
export JAVA_HOME=/opt/module/jdk1.8.0_65
配置yarn-site.xml
[hadoop@master hadoop]$ vi yarn-site.xml
在该文件中增加如下配置
<!-- Reducer获取数据的方式 -->
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<!-- 指定YARN的ResourceManager的地址 -->
<property>
<name>yarn.resourcemanager.hostname</name>
<value>master</value>
</property>
(4)MapReduce配置文件
配置mapred-env.sh
[hadoop@master hadoop]$ vi mapred-env.sh
export JAVA_HOME=/opt/module/jdk1.8.0_65
配置mapred-site.xml
[hadoop@master hadoop]$ cp mapred-site.xml.template mapred-site.xml
[hadoop@master hadoop]$ vi mapred-site.xml
在该文件中增加如下配置
<!-- 指定MR运行在Yarn上 -->
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
4.3.4将master的/opt/module文件分发到slave1和slave2虚拟机
[hadoop@master opt]$ scp -r module/ hadoop@slave1:/opt/
[hadoop@master opt]$ scp -r module/ hadoop@slave2:/opt/
4.3.5 SSH免密登陆
1. 配置ssh
(1)基本语法
ssh另一台电脑的ip地址
(2)ssh连接时出现Host key verification failed的解决方法
[hadoop@master opt]$ ssh 192.168.1.103
The authenticity of host \'192.168.1.103 (192.168.1.103)\' can\'t be established.
RSA key fingerprint is cf:1e:de:d7:d0:4c:2d:98:60:b4:fd:ae:b1:2d:ad:06.
Are you sure you want to continue connecting (yes/no)?
Host key verification failed.
(3)解决方案如下:直接输入yes
2. 无密钥配置
三台虚拟机执行相同命令
ssh-keygen -t rsa
ssh-copy-id -i ~/.ssh/id_rsa.pub master
ssh-copy-id -i ~/.ssh/id_rsa.pub slave1
ssh-copy-id -i ~/.ssh/id_rsa.pub slave2
3. ssh文件夹下(~/.ssh)的文件功能解释
known_hosts
记录ssh访问过计算机的公钥(public key)
id_rsa
生成的私钥
id_rsa.pub
生成的公钥
authorized_keys
存放授权过得无密登录服务器公钥
4.3.6群起集群
1. 配置slaves
/opt/module/hadoop-2.7.1/etc/hadoop/slaves
[hadoop@master hadoop]$ vi slaves
在该文件中增加如下内容:
master
slave1
Slave2
注意:该文件中添加的内容结尾不允许有空格,文件中不允许有空行。
同步所有节点配置文件
[hadoop@master opt]$ scp /opt/module/hadoop-2.7.1/etc/hadoop/slaves slave1:/opt/module/hadoop-2.7.1/etc/hadoop/
[hadoop@master opt]$ scp /opt/module/hadoop-2.7.1/etc/hadoop/slaves
slave2:/opt/module/hadoop-2.7.1/etc/hadoop/
2. 启动集群
(1)如果集群是第一次启动,需要格式化NameNode(注意格式化之前,一定要先停止上次启动的所有namenode和datanode进程,然后再删除data和log数据)
[hadoop@master hadoop-2.7.1]$ bin/hdfs namenode -format
(2)启动HDFS
[hadoop@master hadoop-2.7.1]$ sbin/start-dfs.sh
[hadoop@master hadoop-2.7.1]$ jps
4166 NameNode
4482 Jps
4263 DataNode
[hadoop@slave2 hadoop-2.7.1]$ jps
3218 DataNode
3288 Jps
[hadoop@slave1 hadoop-2.7.1]$ jps
3221 DataNode
3283 SecondaryNameNode
3364 Jps
(3)启动YARN
[hadoop@slave1 hadoop-2.7.1]$ sbin/start-yarn.sh
注意:NameNode和ResourceManger如果不是同一台机器,不能在NameNode上启动 YARN,应该在ResouceManager所在的机器上启动YARN。
(4)Web端查看SecondaryNameNode
(a)浏览器中输入:http://slave1:50090/status.html
(b)查看SecondaryNameNode信息.
3. 集群基本测试
(1)上传文件到集群
上传小文件
[hadoop@master hadoop-2.7.1]$ hdfs dfs -mkdir -p /user/taike/input
[hadoop@master hadoop-2.7.1]$ hdfs dfs -put wcinput/wc.input /user/taike/input
上传大文件
[hadoop@master hadoop-2.7.1]$ bin/hadoop fs -put
/opt/software/hadoop-2.7.1_64bit.tar.gz /user/taike/input
(2)上传文件后查看文件存放在什么位置
(a)查看HDFS文件存储路径
[hadoop@master subdir0]$ pwd
/opt/module/hadoop-2.7.1/data/tmp/dfs/data/current/BP-826371271-172.16.23.200-1587628709624/current/finalized/subdir0/subdir0
(b)查看HDFS在磁盘存储文件内容
[hadoop@master subdir0]$ cat blk_1073741825
hadoop yarn
hadoop mapreduce
taike
taike
(3)拼接
-rw-rw-r--. 1 atguigu atguigu 134217728 5月 23 16:01 blk_1073741836
-rw-rw-r--. 1 atguigu atguigu 1048583 5月 23 16:01 blk_1073741836_1012.meta
-rw-rw-r--. 1 atguigu atguigu 63439959 5月 23 16:01 blk_1073741837
-rw-rw-r--. 1 atguigu atguigu 495635 5月 23 16:01 blk_1073741837_1013.meta
[hadoop@master subdir0]$ cat blk_1073741836>>tmp.file
[hadoop@master subdir0]$ cat blk_1073741837>>tmp.file
[hadoop@master subdir0]$ tar -zxvf tmp.file
(4)下载
[hadoop@master hadoop-2.7.1]$bin/hadoop fs -get /user/taike/input/hadoop-2.7.1_64bit.tar.gz ./
4.3.7集群启动/停止方式总结
1. 各个服务组件逐一启动/停止
(1)分别启动/停止HDFS组件
hadoop-daemon.sh start / stop namenode / datanode / secondarynamenode
(2)启动/停止YARN
yarn-daemon.sh start / stop resourcemanager / nodemanager
2. 各个模块分开启动/停止(配置ssh是前提)常用
(1)整体启动/停止HDFS
start-dfs.sh / stop-dfs.sh
(2)整体启动/停止YARN
start-yarn.sh / stop-yarn.sh
以上是关于Hadoop运行环境搭建的主要内容,如果未能解决你的问题,请参考以下文章