MapReduce算法形式六:只有Map独自作战
Posted
tags:
篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了MapReduce算法形式六:只有Map独自作战相关的知识,希望对你有一定的参考价值。
案例六:Map独自直接输出
之前一直没有用过这个map独自输出的模式,就算是输出一些简单的我也会经过一次reduce输出,但是,发现这个map输出的结果跟我预想的有点不一样,我一直以为shuffle的过程会在map结尾,reduce开头进行,会有合并的,可是shuffle只做了分区,排序,然后就直接罗列出来了,这算是涨姿势了,之前理解的合并,归约还是有点问题的,果然毛爷爷说的实践才能出真理~~(向毛爷爷致敬,敬礼)
码就很简单,没什么可解释的,但是结果就得好好捉摸一下了,看看之后能用在哪里,回头再补上这个问题~~
以上是关于MapReduce算法形式六:只有Map独自作战的主要内容,如果未能解决你的问题,请参考以下文章