hadoop.mapred vs hadoop.mapreduce?

Posted

技术标签:

【中文标题】hadoop.mapred vs hadoop.mapreduce?【英文标题】:hadoop.mapred vs hadoop.mapreduce? 【发布时间】:2013-04-22 14:30:10 【问题描述】:

为什么Apache的hadoop包树中有两个独立的包map-reduce包:

org.apache.hadoop.mapred 

http://javasourcecode.org/html/open-source/hadoop/hadoop-1.0.3/org/apache/hadoop/mapred/

org.apache.hadoop.mapreduce

http://javasourcecode.org/html/open-source/hadoop/hadoop-1.0.3/org/apache/hadoop/mapreduce/

为什么要分开?是否有文件可以澄清这一点?

【问题讨论】:

更多参考 [mapred 或 mapreduce][1] 以帮助 mapred api 与 mapreduce [1]:***.com/questions/7598422/… 可能重复***.com/questions/7598422/… 【参考方案1】:

它们被分开是因为这两个包代表 2 个不同的 API。 org.apache.hadoop.mapred 是旧 API,org.apache.hadoop.mapreduce 是新 API。这样做是为了让程序员以更方便、更容易和更复杂的方式编写 MapReduce 作业。您可能会发现这个presentation 很有用,它详细讨论了不同之处。

希望这能回答你的问题。

【讨论】:

如果我可以选择 mapred 和 mapreduce 之间的某些东西,但有些只有 mapred 的选项,我应该到处使用 mapred 吗? 请注意,旧的 api 已被弃用,甚至可能被推荐,请参阅 ***.com/questions/7598422/…

以上是关于hadoop.mapred vs hadoop.mapreduce?的主要内容,如果未能解决你的问题,请参考以下文章

org.apache.hadoop.mapred.LocalClientProtocolProvider 未找到

使用 mapred 或 mapreduce 包创建 Hadoop 作业哪个更好?

org.apache.hadoop.mapred.TaskTracker 的无限循环

Mesos 上的 Hadoop 因“无法找到或加载主类 org.apache.hadoop.mapred.MesosExecutor”而失败

hadoop错误org.apache.hadoop.mapred.TaskAttemptListenerImpl Progress of TaskAttempt

解决 mapreduce.Cluster 无法使用 org.apache.hadoop.mapred.YarnClientProtocolProvider 由于实例化 YarnClient 错误