大数据之Hadoop(MapReduce):shuffle之GroupingComparator分组(辅助排序)

Posted 浊酒南街

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了大数据之Hadoop(MapReduce):shuffle之GroupingComparator分组(辅助排序)相关的知识,希望对你有一定的参考价值。


对Reduce阶段的数据根据某一个或几个字段进行分组。

1.分组排序步骤:

(1)自定义类继承WritableComparator
(2)重写compare()方法

@Override
public int compare(WritableComparable a, WritableComparable b) {
		// 比较的业务逻辑
		return result;
}

(3)创建一个构造将比较对象的类传给父类

protected OrderGroupingComparator() {
		super(OrderBean.class, true);
}

以上是关于大数据之Hadoop(MapReduce):shuffle之GroupingComparator分组(辅助排序)的主要内容,如果未能解决你的问题,请参考以下文章

大数据之Hadoop(MapReduce): MapReduce概述

大数据之Hadoop(MapReduce):MapReduce核心思想

大数据之Hadoop(MapReduce):Hadoop企业优化

大数据技术之Hadoop(MapReduce)概述序列化

大数据技术之Hadoop(MapReduce)概述序列化

大数据之Hadoop(MapReduce):MapReduce编程规范