CentOS上安装Hadoop2.7，添加数据节点，运行wordcount

Posted 2020-09-27

安装hadoop的步骤比较繁琐，但是并不难。

在CentOS上安装Hadoop2.7

1. 安装 CentOS，注：图形界面并无必要

2. 在CentOS里设置静态IP，手工编辑如下4个文件

• /etc/hosts
• /etc/sysconfig/netwok
• /etc/hostname
• /etc/sysconfig/network-scripts/ifcfg-eno1677773

 3. 关闭防火墙

• Close firewalld
• systemctl stop firewalld.service #停止firewall
• systemctl disable firewalld.service #禁止firewall开机启动

4. 设置ssh无密登录

l   去掉/etc/ssh/sshd_config其中2行的注释
#RSAAuthentication yes
#PubkeyAuthentication yes

l   输入命令，ssh-keygen -t rsa，生成key，都不输入密码，一直回车，/root就会生成.ssh文件夹，每台服务器都要设置

l   合并公钥到authorized_keys文件，在Master服务器，进入/root/.ssh目录，通过SSH命令合并，
cat id_rsa.pub>> authorized_keys

l   把Master服务器的authorized_keys、known_hosts复制到Slave服务器的/root/.ssh目录

 

5. 为提高软件下载速度，可以把软件安装库转向阿里云

6. Install net-tools, yum, wget, vim

7. Install Java

• Yum list java*
• [[email protected] www]# yum -y install java-1.8.0-openjdk.x86_64

8. Configure Java

• [[email protected] ~]# which java
   
  /usr/bin/java
   
  [[email protected] ~]# ls -lrt /usr/bin/java
   
  lrwxrwxrwx. 1 root root 22 Aug 17 15:12 /usr/bin/java -> /etc/alternatives/java
   
  [[email protected] ~]# ls -lrt /etc/alternatives/java
   
  lrwxrwxrwx. 1 root root 46 Aug 17 15:12 /etc/alternatives/java -> /usr/lib/jvm/jre-1.7.0-openjdk.x86_64/bin/java

 

9. 从官网下载Hadoop “hadoop-2.7.0.tar.gz”放到/home/hadoop目录下

10. 输入命令解压

• tar -xzvf hadoop-2.7.0.tar.gz

11. 在/home/hadoop目录下创建数据存放的文件夹，tmp、hdfs、hdfs/data、hdfs/name

12. 修改Hadoop设置

• ／Hadoop2.7.3／etc／Hadoop／hadoop-env.sh

export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk-1.8.0.131-3.b12.e17_3.x86_64

• ／Hadoop2.7.3／etc／Hadoop／slaves
• ／Hadoop2.7.3／etc／Hadoop／mapred-site.xml
• ／Hadoop2.7.3／etc／Hadoop／hdfs-site.xml
• ／Hadoop2.7.3／etc／Hadoop／core-site.xml

 

13. 在Master服务器启动hadoop

• 初始化

bin/hdfs namenode –format

l  全部启动sbin/start-all.sh，也可以分开sbin/start-dfs.sh、sbin/start-yarn.sh

l  停止Hadoop服务

l  sbin/stop-all.sh

l  输入命令jps，可以看到节点相关信息

14. 访问Hadoop

• 浏览器打开http://192.168.0.182:8088/
• 浏览器打开http://192.168.0.182:50070/

 

 

添加新数据节点步骤

• 安装CentOS，设置静态IP（4个配置文件）
• 加入SSH免密码登录
• SCP把Hadoop文件复制到新机器
• 修改／Hadoop2.7.3／etc／Hadoop／slaves
• 重新初始化
• 重新启动hadoop服务

 

 

运行WordCount程序

1、在HDFS中创建目录input

hadoop fs -mkdir /input

2、将本地的 PESXXX.txt上传到input中

hadoop fs -put PESXXX.txt /input

查看input目录下的文件

hadoop fs -ls /input

查看PESXXX.txt文件内容

hadoop fs -cat /input/ PESXXX.txt

 

3、运行程序

hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.1.jar wordcount /input /output/

 

4、查看结果

查看输出目录hadoop fs -ls /output

 

查看输出结果hadoop fs -cat /output/part-r-0000

 

5、可在浏览器查看任务

http://192.168.1.15:8088

http://192.168.1.15:50070