MapReduce编程模型
Posted tsugar
tags:
篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了MapReduce编程模型相关的知识，希望对你有一定的参考价值。
MapReduce 基于HDFS
1.环境搭建起来 伪分布式
2.MapReduce是基于HDFS之上的 MapReduce计算的内容应该是HDFS上的文件/文件夹
3.计算=>统计=>Mapper阶段=>Reduce阶段 MapReduce的编程模型
4.Mapper类 继承Mapper类 重写Mapper方法
5.Reduce类 继承Reducer类 重写Reduce方法
6.Driver类=Mapper+Reduce+HDFS 整合起来
7.打成一个jar包 上传到Linux上面
8.hadoop jar jar包 Driver类 把任务跑起来
9.MapReduce的开发 任务式开发 开发的一个个MapReduce程序 实际上就是一个个任务
10.只是针对各种任务 它的需求不同 总体来说WordCount程序是最精华的程序
Map阶段
Reduce阶段
以上是关于MapReduce编程模型的主要内容，如果未能解决你的问题，请参考以下文章