Hadoop--09---MapReduce_04----MapReduce工作流程Shuffle 机制Partition 分区

Posted 2022-06-07 高高for 循环

提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档

文章目录

• MapReduce 工作流程
• • 1. 工作流程简介
  • 2. Shuffle 机制
  • • • Map 方法之后，Reduce 方法之前的数据处理过程称之为Shuffle。
  • 3. Partition 分区
  • 4.WritableComparable 排序
• MapReduce 工作机制
• • 1. MapTask 工作机制
  • 2.ReduceTask 工作机制
  • 3.MapReduce开发总结

---

MapReduce 工作流程

1. 工作流程简介

2. Shuffle 机制

Map 方法之后，Reduce 方法之前的数据处理过程称之为Shuffle。

3. Partition 分区

4.WritableComparable 排序

MapReduce 工作机制

1. MapTask 工作机制

2.ReduceTask 工作机制

3.MapReduce开发总结