MapReduce二次排序

Posted erbing

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了MapReduce二次排序相关的知识,希望对你有一定的参考价值。

一、背景

  按照年份升序排序,同时每一年中温度降序排序

  data文件为1949年-1955年每天的温度数据。

  要求:1、计算1949-1955年,每年温度最高的时间

        2、计算1949-1955年,每年温度最高的十天

1949-10-01 14:21:02    341949-10-02 14:01:02    361950-01-01 14:21:02    321950-10-01 11:01:02    371951-10-01 14:21:02    231950-10-02 17:11:02    411950-10-01 18:20:02    271951-07-01 14:01:02    451951-07-02 13:21:02    46℃

二、二次排序原理

  默认情况下,Map 输出的结果会对 Key 进行默认的排序,但是有时候需要对 Key 排序的同时再对 Value 进行排序,这时候就要用到二次排序了。下面让我们来介绍一下什么是二次排序。

2.1 Map起始阶段

  在Map阶段,使用job.setInputFormatClass()定义的InputFormat,将输入的数据集分割成小数据块split,同时InputFormat提供一个RecordReader的实现。在这里我们使用的是TextInputFormat,它提供的RecordReader会将文本的行号作为Key,这一行的文本作为Value。这就是自定 Mapper的输入是<LongWritable,Text> 的原因。然后调用自定义Mapper的map方法,将一个个<LongWritable,Text>键值对输入给Mapper的map方法

2.2 Map最后阶段

  在Map阶段的最后,会先调用job.setPartitionerClass()对这个Mapper的输出结果进行分区,每个分区映射到一个Reducer。每个分区内又调用job.setSortComparatorClass()设置的Key比较函数类排序。可以看到,这本身就是一个二次排序。如果没有通过job.setSortComparatorClass()设置 Key比较函数类,则使用Key实现的compareTo()方法

2.3 Reduce阶段

    在Reduce阶段,reduce()方法接受所有映射到这个Reduce的map输出后,也会调用job.setSortComparatorClass()方法设置的Key比较函数类,对所有数据进行排序。然后开始构造一个Key对应的Value迭代器。这时就要用到分组,使用 job.setGroupingComparatorClass()方法设置分组函数类。只要这个比较器比较的两个Key相同,它们就属于同一组,它们的 Value放在一个Value迭代器,而这个迭代器的Key使用属于同一个组的所有Key的第一个Key。最后就是进入Reducer的 reduce()方法,reduce()方法的输入是所有的Key和它的Value迭代器,同样注意输入与输出的类型必须与自定义的Reducer中声明的一致。

三、二次排序流程

  在本例中要比较两次。先按照第年份排序,然后再对年份相同的按照温度排序。根据这一点,我们可以构造一个复合类KeyPair ,它有两个字段,先利用分区对第一字段排序,再利用分区内的比较对第二字段排序。二次排序的流程分为以下几步。

3.1 自定义key

  所有自定义的key应该实现接口WritableComparable,因为它是可序列化的并且可比较的。WritableComparable 的内部方法如下所示

// 反序列化,从流中的二进制转换成IntPair
public void readFields(DataInput in) throws IOException

// 序列化,将IntPair转化成使用流传送的二进制
public void write(DataOutput out)

//  key的比较
public int compareTo(IntPair o)

//  默认的分区类 HashPartitioner,使用此方法
public int hashCode()

//  默认实现
public boolean equals(Object right)

3.2 自定义分区

  自定义分区函数类FirstPartitioner,是key的第一次比较,完成对所有key的排序。

public static class FirstPartitioner extends Partitioner< IntPair,IntWritable>

  在job中使用setPartitionerClasss()方法设置Partitioner

job.setPartitionerClasss(FirstPartitioner.Class);

3.3 自定义排序类

  这是Key的第二次比较,对所有的Key进行排序,即同时完成IntPair中的first和second排序。该类是一个比较器,可以通过两种方式实现。

   1) 继承WritableComparator。

public static class KeyComparator extends WritableComparator

  必须有一个构造函数,并且重载以下方法。

public int compare(WritableComparable w1, WritableComparable w2)

  2) 实现接口 RawComparator。

  上面两种实现方式,在Job中,可以通过setSortComparatorClass()方法来设置Key的比较类。

job.setSortComparatorClass(KeyComparator.Class);

3.4 自定义分组类

  在Reduce阶段,构造一个与 Key 相对应的 Value 迭代器的时候,只要first相同就属于同一个组,放在一个Value迭代器。定义这个比较器,可以有两种方式。

  分组的实质也是排序,此例子中排序是按照年份和温度,而分组只是按照年份。

   1) 继承WritableComparator。

public static class KeyComparator extends WritableComparator

  必须有一个构造函数,并且重载以下方法。

public int compare(WritableComparable w1, WritableComparable w2)

  2) 实现接口 RawComparator。

  上面两种实现方式,在Job中,可以通过setSortComparatorClass()方法来设置Key的比较类。

job.setGroupingComparatorClass(GroupingComparator.Class);

  另外注意的是,如果reduce的输入与输出不是同一种类型,则 Combiner和Reducer 不能共用 Reducer 类,因为 Combiner 的输出是 reduce 的输入。除非重新定义一个Combiner。

四、代码实现

思路:

  1、按照年份升序排序,同时每一年中温度降序排序

  2、按照年份分组,每一年对应一个reduce任务

技术分享图片
import java.io.DataInput;
import java.io.DataOutput;
import java.io.IOException;

import org.apache.hadoop.io.WritableComparable;

public class KeyPair implements WritableComparable<KeyPair> {
    
    private int year; //年份
    private int hot; //温度
    

    public int getYear() {
        return year;
    }

    public void setYear(int year) {
        this.year = year;
    }

    public int getHot() {
        return hot;
    }

    public void setHot(int hot) {
        this.hot = hot;
    }

    @Override
    public void readFields(DataInput in) throws IOException {
        this.year = in.readInt();
        this.hot = in.readInt();
        
    }

    @Override
    public void write(DataOutput out) throws IOException {
    
        out.writeInt(year);
        out.writeInt(hot);
    }

    //重写compareTo方法,用作key的比较,先比较年份,年份相同再比较温度
    @Override
    public int compareTo(KeyPair o) {
        int y = Integer.compare(year, o.getYear());
        if(y == 0){
            return Integer.compare(hot, o.getHot());
        }
        return y;
    }

    @Override
    public String toString() {
        return year+"	"+hot;
    }
}
自定义key
技术分享图片
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Partitioner;

public class FirstPartitioner extends Partitioner<KeyPair, Text> {
    @Override
    public int getPartition(KeyPair key, Text value, int nums) {
        //按照年份分区,乘127是为了分散开,nums是reduce数量
        return (key.getYear()*127 & Integer.MAX_VALUE) % nums;
    }
}
自定义分区类
技术分享图片
import org.apache.hadoop.io.WritableComparable;
import org.apache.hadoop.io.WritableComparator;

public class SortKey extends WritableComparator {

    public SortKey() {
        super(KeyPair.class,true);
    }
    
    @Override
    public int compare(WritableComparable a, WritableComparable b) {
        KeyPair k1 = (KeyPair)a;
        KeyPair k2 = (KeyPair)b;
        //先比较年份
        int pre = Integer.compare(k1.getYear(), k2.getYear());
        if(pre != 0){
            return pre;
        }
        //年份相同比较温度
        //温度倒序
        return -Integer.compare(k1.getHot(), k2.getHot());
    }
}
自定义排序类

  分组的实质也是排序,此例子中排序是按照年份和温度,而分组只是按照年份。

技术分享图片
import org.apache.hadoop.io.WritableComparable;
import org.apache.hadoop.io.WritableComparator;



public class GroupComparator extends WritableComparator  {
    
    protected GroupComparator() {       
        super(KeyPair.class,true);
    }

    @Override
    public int compare(WritableComparable a, WritableComparable b) {
        KeyPair k1 = (KeyPair)a;
        KeyPair k2 = (KeyPair)b;
        //按照年份分组,每一年一个reduce,不考虑温度
        return Integer.compare(k1.getYear(), k2.getYear());
    }

}
自定义分组类
技术分享图片
import java.io.IOException;
import java.text.ParseException;
import java.text.SimpleDateFormat;
import java.util.Calendar;
import java.util.Date;

import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.LongWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Mapper;

public class MyMapper extends Mapper<LongWritable, Text, KeyPair, Text> {
    
    private static SimpleDateFormat sdf = new SimpleDateFormat("yyyy-MM-dd HH:mm:ss");
    private KeyPair k = new KeyPair();
    
    @Override
    protected void map(LongWritable key, Text value,Context context) throws IOException, InterruptedException {
        //keypair作为key,每一行文本作为value
        String line = new String(value.getBytes(), 0, value.getLength(), "GBK");
        String[] tmp = line.split("	");
        System.out.println(tmp[0]+"	"+tmp[1]);
        if(tmp.length>=2){
            try {
                Date date = sdf.parse(tmp[0]);
                Calendar cal = Calendar.getInstance();
                cal.setTime(date);
                int year = cal.get(1);
                k.setYear(year);
            } catch (ParseException e) {
                e.printStackTrace();
            }
            int hot = Integer.parseInt(tmp[1].substring(0, tmp[1].indexOf("℃")));
            k.setHot(hot);
            context.write(k, value);
        }
    }

}
自定义Mapper类
技术分享图片
import java.io.IOException;

import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Reducer;

public class MyReducer extends Reducer<KeyPair, Text, KeyPair,Text> {

    @Override
    protected void reduce(KeyPair key, Iterable<Text> value,Context context) throws IOException, InterruptedException {
        
        for(Text t : value){
            context.write(key, t);
        }
    }
}
自定义Reducer类
技术分享图片
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;
import org.apache.hadoop.mapreduce.lib.output.TextOutputFormat;

public class YearHot {

    public static void main(String[] args) throws Exception {

        Configuration conf = new Configuration();
        Job job = Job.getInstance(conf, "year hot sort");
        
        job.setJarByClass(YearHot.class);
        job.setMapperClass(MyMapper.class);
        job.setReducerClass(MyReducer.class);
        
        job.setNumReduceTasks(3);
        job.setPartitionerClass(FirstPartitioner.class);
        job.setSortComparatorClass(SortKey.class);
        job.setGroupingComparatorClass(GroupComparator.class);
        
        job.setOutputKeyClass(KeyPair.class);
        job.setOutputValueClass(Text.class);
        job.setOutputFormatClass(GBKOutputFormat.class);
        
        FileInputFormat.addInputPath(job, new Path("hdfs://192.168.228.134:/usr/input/data.txt"));
        FileOutputFormat.setOutputPath(job, new Path("hdfs://192.168.228.134:/usr/output"));
        System.exit(job.waitForCompletion(true)?0:1);
    }
}
驱动类

 

 

以上是关于MapReduce二次排序的主要内容,如果未能解决你的问题,请参考以下文章

MapReduce排序之 二次排序

Hadoop MapReduce编程 API入门系列之二次排序

MapReduce二次排序

完成功能--MapReduce驱动两个job二次排序求Url的topN

mapreduce编程-二次排序

MapReduce程序之二次排序与多次排序