理解MapReduce计算构架

Posted xjh602545141

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了理解MapReduce计算构架相关的知识,希望对你有一定的参考价值。

理解MapReduce计算构架

用Python编写WordCount程序任务

程序

WordCount

输入

一个包含大量单词的文本文件

输出

文件中每个单词及其出现次数(频数),并按照单词字母顺序排序,每个单词和其频数占一行,单词和频数之间有间隔

1.编写map函数,reduce函数

  首先先创建文件

技术分享图片

 

  然后编写两个函数

技术分享图片

 技术分享图片

 

 

2.将其权限作出相应修改

技术分享图片

 

3.本机上测试运行代码

技术分享图片

技术分享图片

 

4.放到HDFS上运行

5.下载并上传文件到hdfs上

 

技术分享图片

技术分享图片

技术分享图片

6.用Hadoop Streaming命令提交任务

  先找到Streaming的Jar包

技术分享图片

  配置默认环境变量

技术分享图片

  让配置生效并测试

技术分享图片

  编写run.sh脚本程序

技术分享图片

 

技术分享图片

运行结果

技术分享图片

技术分享图片

技术分享图片

以上是关于理解MapReduce计算构架的主要内容,如果未能解决你的问题,请参考以下文章

理解MapReduce计算构架

理解MapReduce计算构架

理解MapReduce计算构架

理解MapReduce计算构架

理解MapReduce计算构架

理解MapReduce计算构架