Centos7安装部署Hadoop环境

Posted 2021-01-14 krysent

Hadoop2.7.7部署

一、VMware14安装centos7（过程略）

二、配置Linux

1.关闭防火墙：

 

 

2.查看当前java版本，为openjdk版的

 

 

3.删除openjdk

命令 rpm -qa | grep java 查找java相关文件

命令：rpm -e –nodeps 删除系统自带的java

 

 

4.安装jdk

下载官方1.8jdk

命令rpm -ivh+文件名安装jdk

安装完成

 

 

4.下载hadoop：

官网下载并将下载好的hadoop上传至虚拟机

 

 

 

5.继续创建两台虚拟机

使用虚拟机的克隆功能将cMaster克隆两份分别为Slave0，Slave1

 

 

 

 

克隆完成

 

 

 

6.分别修改主机名cMaster,Slave0,Slave1

vim /etc/hostname

7.添加域名映射：

ifconfig　　　　　　　#查看三个虚拟机的ip地址

vim /etc/hosts　　　 #添加三台机器的域名映射

 

 

分别ping 不同的机器

 

 

Ping通完成

三、安装hadooop

1.解压hadoop

1 tar -zxvf hadoop-2.7.7.tar.gz

分别在三个机器上解压hadoop

2.配置hadoop（三台机器都要）

2.1  编辑文件  

1 vim /home/krysent/hadoop-2.7.7/etc/hadoop/hadoop-env.sh

添加 java路径

 

 

2.2  在/home/krysent/hadoop-2.7.7/etc/hadoop/目录下的

core-site.xml下的configuration标签中添加：

<property>
       <name>hadoop.tmp.dir</name>
       <value>/home/krysent/cloudData</value>
  </property>
  <property>
       <name>fs.defaultFS</name>
       <value>hdfs://cMaster:8020</value>
  </property>

2.3  在/home/krysent/hadoop-2.7.7/etc/hadoop/目录下的

yarn-site.xml下的configuration标签中添加：

<property>
    <name>yarn.resourcemanager.hostname</name>
    <value>cMaster</value>
</property>
<property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
</property>

2.4  将/home/krysent/hadoop-2.7.7/etc/hadoop/目录下的mapred-site-.xml.template重命名为mapred-site-.xml并在configuration标签中添加：

<property>
       <name>mapreduce.farmework.name</name>
       <value>yarn</value>
</property>

四、启动hadoop

1.主节点cMaster格式化：

/home/krysent/hadoop-2.7.7/bin/hdfs namenode -format

2.主节点cMaster启动存储主服务namenode和资源管理主服务resourcemanager:

1 /home/krysent/hadoop-2.7.7/sbin/hadoop-daemon.sh start namenode
3 /home/krysent/hadoop-2.7.7/sbin/yarn-daemon.sh start resourcemanager

3.从节点上启动存储从服务datanode和资源管理从服务nodemanager（Slave0和Slave1两个都要）：

/home/krysent/hadoop-2.7.7/sbin/hadoop-daemon.sh    start  datanode
/home/krysent/hadoop-2.7.7/sbin/yarn-daemon.sh  start  nodemanager

五、测试hadoop：

[[email protected] hadoop-2.7.7]$ /usr/java/jdk1.8.0_191-amd64/bin/jps
17826 Jps
9942 ResourceManager
8908 NameNode

[[email protected] hadoop]$ /usr/java/jdk1.8.0_191-amd64/bin/jps
15890 Jps
8501 DataNode
8684 NodeManager

[[email protected] hadoop-2.7.7]$ /usr/java/jdk1.8.0_191-amd64/bin/jps
8578 NodeManager
8707 DataNode
15764 Jps

 

 

火狐地址栏输入cMaster:50070查看：

 

 

六、使用

　　1.集群里创建in目录

/home/krysent/hadoop-2.7.7/bin/hdfs dfs -mkdir /in

　　2.将本地文件上传至hdfs

/home/krysent/bin/hdfs dfs -put /home/krysent/hadoop-2.7.7/etc/hadoop/* /in

　　3.使用示例程序WordCount计算数据

bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.7.jar wordcount /in /out/wc-01

火狐查看：