大数据之Hadoop(MapReduce)：Shuffle机制

Posted 2021-06-26 浊酒南街

目录

• 1.Mapreduce Shuffle机制
• 2.工作原理图

1.Mapreduce Shuffle机制

Map方法之后，Reduce方法之前的数据处理过程称之为Shuffle。

2.工作原理图

具体 shuffle 过程详解， 如下：
map-shuffle 阶段
1） maptask 收集我们的 map()方法输出的 kv 对，放到内存环形缓冲区中
2） 当大于阈值80%时，会从内存缓冲区不断溢出本地磁盘文件，可能会溢出多个文件，这一过程叫溢写阶段（spill）
3） 多个溢出文件会被合并成大的溢出文件（merge）
4） 在溢出过程中，及合并的过程中，都要调用 partitioner 进行分区和针对 key 进行排序(partition 和sort)
shuffle-reduce阶段
5） reducetask 根据自己的分区号，去各个 maptask 机器上取相应的结果分区数据，这个叫Copy过程，简单地拉取数据；
6） reducetask 会取到同一个分区的来自不同 maptask 的结果文件， reducetask 会将这些文件再进行合并（归并排序）（merge）
7） 合并成大文件后， shuffle 的过程也就结束了，后面进入 reducetask 的逻辑运算过程（从文件中取出一个一个的键值对 group，调用用户自定义的 reduce()方法）