MR Combiner
Posted xiangyuguan
tags:
篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了MR Combiner相关的知识，希望对你有一定的参考价值。
在Mapper和Reducer之间有一个非常重要的组件Combiner。每一个map都可能会产生大量的本地输出，Combiner的作用就是对map端的输出先做一次合并，以减少在map和reduce节点之间的数据传输量，以提高网络IO性能，是MapReduce的一种优化手段之一
-
Combiner最基本是实现本地key的聚合，对map输出的key排序，value进行迭代
-
Combiner还有本地reduce功能（其本质上就是一个reduce）
-
与mapper和reducer不同的是，combiner没有默认的实现，需要显式的设置在conf中才有作用
-
以上是关于MR Combiner的主要内容，如果未能解决你的问题，请参考以下文章
MagicalRecord 中的 MR_saveToPersistentStoreWithCompletion 方法和 MR_saveToPersistentStoreAndWait 方法有啥区别
Hive mapreduce SQL实现原理——SQL最终分解为MR任务，而group by在MR里和单词统计MR没有区别了