大数据之Hadoop(MapReduce)：Shuffle之Partition分区

Posted 2021-06-26 浊酒南街

目录

• 1.问题引出
• 2.默认partition分区
• 3.自定义Partitioner步骤：
• 4.分区总结
• 5.案例分析：

1.问题引出

要求将统计结果按照条件输出到不同的文件中（分区）。比如：将统计结果按照手机归属地不同省份输出到不同的文件中（分区）

2.默认partition分区

public class HashPartitioner<k,v> extends partitioner<k,v> {
public int getPartition(K key,V value,int numReduceTasks){
return (key.hashCode()&Integer.MAX_VALUE) %numReduceTasks;
}
}

默认分区是根据key的hashCode对ReduceTasks个数取模得到的。用户没法控制哪个key存储到哪个分区。

3.自定义Partitioner步骤：

1.自定义类继承Partitioner,重写getPartition()方法

public class CustomPartitioner extends Partitioner<Text,FlowBean>{
@override
public int getPartition(Text key,FlowBean value, int numPartitions)
//控制分区代码逻辑
return partition;
}
}

2.在Job驱动中，设置自定义Partitioner

job.setPartitionerClass(Custom Partitioner.class);

3.自定义Partition后，要根据自定义Partitioner的逻辑设置相应数量的Reduce Task；

job.setNumReduceTasks(5);

4.分区总结

1.如果ReduceTask的数量> getPartition的结果数，则会多产生几个空的输出文件part-r-000xx;
2.如果1< ReduceTask的数量<getPartition的结果数，则有一部分分区数据无处安放，会Exception;
3.如果ReduceTask的数量=1，则不管MapTask端输出多少个分区文件，最终结果都交给这一个ReduceTask，最终也就只会产生一个结果文件part-r-00000；
4.分区号必须是从零开始，逐一累加；

5.案例分析：

例如：假设自定义分区数为5，则
1.job.setNumReduceTasks(1); 会正常运行，只不过会产生一个输出文件；
1.job.setNumReduceTasks(2); 会报错；
1.job.setNumReduceTasks(6); 大于5，程序会正常运行，会产生空文件；