Hadoop之Combiners编程

Posted 独立小桥风满袖

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了Hadoop之Combiners编程相关的知识,希望对你有一定的参考价值。

     每一个map可能会产生大量的输出,combiner的作用就是在map端对输出先做一次合并,以减少传输到reducer的数据量。       
     combiner最基本是实现本地key的归并,combiner具有类似本地的reduce功能。   
      如果不用combiner,那么,所有的结果都是reduce完成,效率会相对低下。使用combiner,先完成的map会在本地聚合,提升速度。
     注意:Combiner的输出是Reducer的输入,如果Combiner是可插拔的,添加Combiner绝不能改变最终的计算结果。所以Combiner只应该用于那种Reduce的输入key/value与输出key/value类型完全一致,且不影响最终结果的场景。比如累加,最大值等。
 
     实际上,combiner就在map端的一个reducer。执行过程如下:

以上是关于Hadoop之Combiners编程的主要内容,如果未能解决你的问题,请参考以下文章

大数据之Hadoop(MapReduce):Hadoop解决数据倾斜方法

Hadoop 综合揭秘——MapReduce 编程实例(详细介绍 CombinePartitionerWritableComparableWritableComparator 使用方式)

hadoop中,combinepartitionshuffle作用分别是什么?

[Hadoop]MapReducer工作过程

大数据Hadoop Streaming编程实战之C++PhpPython

hadoop之mapreduce编程实例(系统日志初步清洗过滤处理)