Spark用Java实现二次排序的自定义key
Posted
tags:
篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了Spark用Java实现二次排序的自定义key相关的知识，希望对你有一定的参考价值。
本人在研究Spak，最近看了很多网上的对于SPARK用Java实现二次排序的方法，对于自定义key的做法 基本上都是实现Ordered<>接口，重写$greater、$greater$eq、$less、$less$eq、compare、compareTo方法，定义hashCode、equals·····
感觉好麻烦，其实我们自定义key只是用了里面的compareTo方法，其他的$greater、$greater$eq、$less、$less$eq、compare 不用做任何改动，hashCode、equals方法也是不需要的，不知道为什么大家都喜欢写的那么复杂，而且其实我们根本不用实现Ordered<>接口，只要实现Comparable<T>接口重写compareTo方法就行了，很简洁，以下是我的自定义key：
import java.io.Serializable;
import scala.math.Ordered;
/**
* 自定义的二次排序key
*/
public class SecondarySortKey implements Comparable<SecondarySortKey>,Serializable {
private static final long serialVersionUID = -2366006422945129991L;
private int first;
private int second;
public SecondarySortKey(int first, int second) {
this.first = first;
this.second = second;
}
@Override
public int compareTo(SecondarySortKey other) {
if(this.first - other.getFirst() != 0) {
return this.first - other.getFirst();
} else {
return this.second - other.getSecond();
}
}
public int getFirst() {
return first;
}
public void setFirst(int first) {
this.first = first;
}
public int getSecond() {
return second;
}
public void setSecond(int second) {
this.second = second;
}
}
测试过没有问题。我不知道是我理解不够深彻还是大家故意把Java自定义key的方法写复杂点以体现出scala的简洁和优美（哈哈哈），如果有没考虑到的地方敬请指教！！！
本文出自 “小凌的世界” 博客，请务必保留此出处http://beyond520.blog.51cto.com/10540356/1920267
以上是关于Spark用Java实现二次排序的自定义key的主要内容，如果未能解决你的问题，请参考以下文章