大数据之Hadoop(MapReduce):WritableComparable排序案例实操(区内排序)
Posted 浊酒南街
tags:
篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了大数据之Hadoop(MapReduce):WritableComparable排序案例实操(区内排序)相关的知识,希望对你有一定的参考价值。
1.需求
要求每个省份手机号输出的文件中按照总流量内部排序。
2.需求分析
基于前一个需求,增加自定义分区类,分区按照省份手机号设置。
基于前一个需求,增加自定义分区类,分区按照省份手机号设置。
3.案例实操
(1)增加自定义分区类
package com.jinghang.mapreduce.sort;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Partitioner;
public class ProvincePartitioner extends Partitioner<FlowBean, Text> {
@Override
public int getPartition(FlowBean key, Text value, int numPartitions) {
// 1 获取手机号码前三位
String preNum = value.toString().substring(0, 3);
int partition = 4;
// 2 根据手机号归属地设置分区
if ("136".equals(preNum)) {
partition = 0;
}else if ("137".equals(preNum)) {
partition = 1;
}else if ("138".equals(preNum)) {
partition = 2;
}else if ("139".equals(preNum)) {
partition = 3;
}
return partition;
}
}
(2)在驱动类中添加分区类
// 加载自定义分区类
job.setPartitionerClass(ProvincePartitioner.class);
// 设置Reducetask个数
job.setNumReduceTasks(5);
以上是关于大数据之Hadoop(MapReduce):WritableComparable排序案例实操(区内排序)的主要内容,如果未能解决你的问题,请参考以下文章
大数据之Hadoop(MapReduce): MapReduce概述
大数据之Hadoop(MapReduce):MapReduce核心思想