MapReduce算法形式六:只有Map独自作战

Posted

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了MapReduce算法形式六:只有Map独自作战相关的知识,希望对你有一定的参考价值。

案例六:Map独自直接输出

之前一直没有用过这个map独自输出的模式,就算是输出一些简单的我也会经过一次reduce输出,但是,发现这个map输出的结果跟我预想的有点不一样,我一直以为shuffle的过程会在map结尾,reduce开头进行,会有合并的,可是shuffle只做了分区,排序,然后就直接罗列出来了,这算是涨姿势了,之前理解的合并,归约还是有点问题的,果然毛爷爷说的实践才能出真理~~(向毛爷爷致敬,敬礼)

码就很简单,没什么可解释的,但是结果就得好好捉摸一下了,看看之后能用在哪里,回头再补上这个问题~~

 

技术分享技术分享技术分享

以上是关于MapReduce算法形式六:只有Map独自作战的主要内容,如果未能解决你的问题,请参考以下文章

MapReduce算法形式三:cleanup

Hadoop之MapReduce程序开发流程

Hadoop学习之六MapReduce

mapreduce 分区和分组的区别

MapReduce算法形式二:去重(shuffle)

MapReduce算法形式二:去重(HashSet)