Hadoop上简单运行WordCount

Posted 那山的狐狸

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了Hadoop上简单运行WordCount相关的知识,希望对你有一定的参考价值。

我们先搭建本地环境

准备的两个工具

技术分享图片

将winutils中的两个文件拷贝

技术分享图片技术分享图片

配置环境变量

技术分享图片

将日志文件拷贝到我们新建的Eclipse中的Maven项目中

技术分享图片技术分享图片

编写Mapper

技术分享图片

编写Reduce

技术分享图片

编写主类

技术分享图片

我们来运行一下

我们先打一个JAR包

技术分享图片技术分享图片

我导出到本地项目中了

技术分享图片

将包上传到我们的虚拟机中

技术分享图片

上传我们的测试文件

技术分享图片

我们运行一下

技术分享图片技术分享图片

我们查看一下浏览器

技术分享图片

虚拟机查看一下

技术分享图片

以上是关于Hadoop上简单运行WordCount的主要内容,如果未能解决你的问题,请参考以下文章

在ubuntu上安装eclipse同时连接hadoop运行wordcount程序

Windows 上运行 Hadoop WordCount 用例

Hadoop集群(第6期)_WordCount运行详解

CentOS上安装Hadoop2.7,添加数据节点,运行wordcount

Hadoop——WordCount运行和解读

windows10上Eclipse运行MapReduce wordcount程序遇到的坑