Hadoop MapReduce 新旧 mapred 与 mapreduce API

Posted 2022-08-04 @SmartSi

从 Hadoop 0.20.0 版本开始，Hadoop 同时提供了新旧两套 MapReduce API。新 API 在旧 API 基础上进行了封装，使得其在扩展性和易用性方面更好。这篇文章是对新旧 API 的主要变更的简要总结。

1. 变化

1.1 Mapper 和 Reducer 变化

在 Hadoop 0.20.x 之前，一个 Map 类必须扩展一个 MapReduceBase 并像如下实现一个 Mapper：

public static class WordCountMapper extends MapReduceBase implements Mapper<LongWritable, Text,