MapReduce算法形式三:cleanup

Posted

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了MapReduce算法形式三:cleanup相关的知识,希望对你有一定的参考价值。

案例三:cleanup

其实这个案例可以不用写这么复杂,不用cleanup也能写,但是为了,突显,突显,突显(重要的事说四遍)cleanup的重要性,琢磨了半天,恩,这样写既可以突显cleanup又显示出我对大集合的各种热爱(哪天把集合的遍历方法搞一下,光Map就有四五种),总而言之呢,写得是复杂了点,但是灰常满意~~

还是忘了说了,cleanup干嘛的,说白了就是吃reduce剩下的,reduce有些自己是处理不完的(可见团队合作重要性,kkk~),所以呢,cleanup就做了收尾吧的工作,官方说:cleanup是对reduce执行完所有数据的结果再进行的操作。

不多说了,直接上码~此处应该有掌声~~

技术分享技术分享技术分享技术分享技术分享

以上是关于MapReduce算法形式三:cleanup的主要内容,如果未能解决你的问题,请参考以下文章

MapReduce算法形式二:去重(HashSet)

MapReduce算法形式四:mapjoin

MapReduce算法形式六:只有Map独自作战

MapReduce算法形式五:TOP—N

三.hadoop mapreduce之WordCount例子

MapReduce 实现常用算法