使用Maven构建Hadoop工程并实现词频统计案例(详细篇)

Posted

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了使用Maven构建Hadoop工程并实现词频统计案例(详细篇)相关的知识,希望对你有一定的参考价值。

使用Maven构建Hadoop工程并实现词频统计案例(详细篇)


一、实验环境:

  • Hadoop3.1.3
  • IDEA
  • CentOS7.5
  • Maven3.6.3
  • 伪分布式

二、使用Maven构建Hadoop工程

1.解压Maven到自己的安装目录
tar -zxvf ./apache-maven-3.6.3-bin.tar.gz -C /opt/module/
2.配置Maven环境变量
vim /etc/profile.d/my_env.sh
# JDK_HOME
export JAVA_HOME=/opt/module/jdk1.8.0_212
export CLASSPATH=$:CLASSPATH:$JAVA_HOME/lib/
export PATH=$PATH:$JAVA_HOME/bin

#HADOOP_HOME
export HADOOP_HOME=/opt/module/hadoop-3.1.3
export PATH=$PATH:$HADOOP_HOME/bin
export PATH=$PATH:$HADOOP_HOME/sbin

# Set Maven Environment
export MAVEN_HOME=/opt/module/maven-3.6.3
export PATH=$PATH:$MAVEN_HOME/bin
3.查看maven版本信息
mvn -version
4.使用IDEA创建一个空项目(提前在IDEA中配置Maven)

如图:(借用尚硅谷的图)

使用Maven构建Hadoop工程并实现词频统计案例(详细篇)_大数据

5.Maven安装目录和仓库地址的设置

使用Maven构建Hadoop工程并实现词频统计案例(详细篇)_maven_02

# 先进入到maven的安装目录
# 修改 settings.xml(核心配置文件)
vim ./conf/settings.xml
# 本地仓库地址更改到/home/zhangsan/LocalRepository,默认在xxx\\.m2\\repository
<localRepository>/home/zhangsan/LocalRepository</localRepository>
# 配置阿里云镜像(下载速度快)
<mirror>
<id>nexus-aliyun</id>
<mirrorOf>central</mirrorOf>
<name>Nexus aliyun</name>
<url>http://maven.aliyun.com/nexus/content/groups/public</url>
</mirror>
  • Maven home directory:可以指定本地 Maven 的安装目录所在。这里不建议使用IDEA默认的。
  • User settings file / Local repository:我们还可以指定 Maven 的 settings.xml 位置和本地仓库位置。

三、词频统计案例

配置文件:

<?xml version="1.0" encoding="UTF-8"?>
<project xmlns="http://maven.apache.org/POM/4.0.0"
xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
<modelVersion>4.0.0</modelVersion>

<groupId>com.zhangsan</groupId>
<artifactId>MapReduce</artifactId>
<version>1.0-SNAPSHOT</version>

<dependencies>
<dependency>
<groupId>org.apache.hadoop</groupId>
<artifactId>hadoop-client</artifactId>
<version>3.1.3</version>
</dependency>
<dependency>
<groupId>junit</groupId>
<artifactId>junit</artifactId>
<version>3.8.2</version>
<scope>test</scope>
</dependency>
<dependency>
<groupId>org.apache.logging.log4j</groupId>
<artifactId>log4j-slf4j-impl</artifactId>
<version>2.12.0</version>
</dependency>
</dependencies>

</project>

WordCount案例代码:

Mapper类

使用Maven构建Hadoop工程并实现词频统计案例(详细篇)_hadoop_03

Reducer类

使用Maven构建Hadoop工程并实现词频统计案例(详细篇)_maven_04

Driver类

使用Maven构建Hadoop工程并实现词频统计案例(详细篇)_hadoop_05

执行Jar包之前要先在HDFS上创建一个文本文件作为词频统计的输入文件

hdfs dfs -mkdir /wcinput

使用Maven构建Hadoop工程并实现词频统计案例(详细篇)_hadoop_06

并创建一个文本文件:word.txt(内容如下)

hello java
hello hadoop
hello mapreduce

使用Maven构建Hadoop工程并实现词频统计案例(详细篇)_maven_07

在Hadoop安装目录下执行Jar包(MR的Jar放置在hadoop安装目录下)

hadoop jar ./MapReduce-1.0-SNAPSHOT.jar WordCountDirver /wcinput /wcoutput

执行Jar包的成功运行结果:

使用Maven构建Hadoop工程并实现词频统计案例(详细篇)_大数据_08

Web端可以查看到成功运行:

使用Maven构建Hadoop工程并实现词频统计案例(详细篇)_大数据_09

命令行查看/wcoutput的词频统计结果

使用Maven构建Hadoop工程并实现词频统计案例(详细篇)_maven_10

四、报错解决

1.Hadoop:找不到或无法加载主类org.apache.hadoop.mapreduce.v2.app.MRAppMaster

使用Maven构建Hadoop工程并实现词频统计案例(详细篇)_大数据_11

解决方案:

# 输入命令 
hadoop classpath
<!--先输出的结果复制到yarn-site.xml-->
<property>
<name>yarn.application.classpath</name>
<value>/opt/module/hadoop-3.1.3/etc/hadoop:/opt/module/hadoop-3.1.3/share/hadoop/common/lib/*:/opt/module/hadoop-3.1.3/share/hadoop/common/*:/opt/module/hadoop-3.1.3/share/hadoop/hdfs:/opt/module/hadoop-3.1.3/share/hadoop/hdfs/lib/*:/opt/module/hadoop-3.1.3/share/hadoop/hdfs/*:/opt/module/hadoop-3.1.3/share/hadoop/mapreduce/lib/*:/opt/module/hadoop-3.1.3/share/hadoop/mapreduce/*:/opt/module/hadoop-3.1.3/share/hadoop/yarn:/opt/module/hadoop-3.1.3/share/hadoop/yarn/lib/*:/opt/module/hadoop-3.1.3/share/hadoop/yarn/*
</value>
</property>
​2.INFO​​ ipc.Client: Retrying connect to server: 0.0.0.0/0.0.0.0:8032. Already tried 0 time(s); retry policy is RetryUpToMaximumCountWithFixedSleep(maxRetries=10, sleepTime=1000 MILLISECONDS)

使用Maven构建Hadoop工程并实现词频统计案例(详细篇)_大数据_12

原因是:本人机器采用​​伪分布式​​,且选择启动Yarn为MapReduce作业进行资源管理和任务调度,然后机器有没有启动Yarn,从而出错。

解决方案

start-yarn.sh

Yarn对于分布式模式(真正由多台机器构成的集群环境)才有意义,在伪分布式环境下,Yarn其实是无法真正发挥作用的,因此,在伪分布式环境下不需要借助于Yarn为MapReduce作业进行资源管理和任务调度,而是可以直接借助于Hadoop自身内置的 ​​mapred.LocalJobRunner​​来为mapReduce作业进行资源管理和任务调度。也就是说,不启动Yarn照样可以运行MapReduce程序。

​选择启动Yarn为MapReduce作业进行资源管理和任务调度的设置方式可以参考这一篇文章​

解决方案

start-yarn.sh

Yarn对于分布式模式(真正由多台机器构成的集群环境)才有意义,在伪分布式环境下,Yarn其实是无法真正发挥作用的,因此,在伪分布式环境下不需要借助于Yarn为MapReduce作业进行资源管理和任务调度,而是可以直接借助于Hadoop自身内置的 ​​mapred.LocalJobRunner​​来为mapReduce作业进行资源管理和任务调度。也就是说,不启动Yarn照样可以运行MapReduce程序。

以上是关于使用Maven构建Hadoop工程并实现词频统计案例(详细篇)的主要内容,如果未能解决你的问题,请参考以下文章

大数据开发之词频统计传参打包成jar包发送到Hadoop运行并创建可执行文件方便运行

MapReduce词频统计

Hadoop综合大作业

Maven构建Hadoop Maven构建Hadoop工程

软件工程之词频统计

Java实现的词频统计——Web迁移