MapReduce自定义排序器不生效一个可能的原因

Posted 144823836yj

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了MapReduce自定义排序器不生效一个可能的原因相关的知识,希望对你有一定的参考价值。

有问题的代码:

package com.mytq.weather;
import org.apache.hadoop.io.WritableComparable; import org.apache.hadoop.io.WritableComparator; public class WSortComparator extends WritableComparator { public WSortComparator() { super(Weather.class, true); }
@Override
public int compare(Object a, Object b) { //使用object会有问题 Weather t1 = (Weather)a; Weather t2 = (Weather)b; int c1 = Integer.compare(t1.getYear(), t2.getYear()); if (c1 == 0) { int c2 = Integer.compare(t1.getMonth(), t2.getMonth()); if (c2==0) { return -Integer.compare(t1.getWd(), t2.getWd()); // 温度倒序排列 } return
return c1; } }

需要将compare两个参数的类型由object修改为WritableComparable才行。

 

----------------

在源码中暂时没找到调用逻辑┓( ´∀` )┏

以上是关于MapReduce自定义排序器不生效一个可能的原因的主要内容,如果未能解决你的问题,请参考以下文章

std::set 插入器不尊重自定义比较器。 (可能的编译器错误?)

Hadoop学习之路MapReduce自定义排序

MapReduce二次排序

Hive与MapReduce相关排序及自定义UDF函数

大数据之Hadoop(MapReduce):WritableComparable排序案例实操(区内排序)

Hadoop---mapreduce排序和二次排序以及全排序