大数据之Hadoop(MapReduce)： MapReduce框架原理

Posted 2021-06-20 浊酒南街

目录

• 1.MapReduce 工作流程
• 2.流程详解
• 3 注意事项

1.MapReduce 工作流程

2.流程详解

上面的流程是整个 mapreduce 最全工作流程，但是 shuffle 过程只是从第 7 步开始到第16 步结束， map后到reduce前为shuffle阶段，可分为map-shuffle 阶段和 shuffle-reduce阶段；
具体 shuffle 过程详解， 如下：
map-shuffle 阶段
1） maptask 收集我们的 map()方法输出的 kv 对，放到内存环形缓冲区中
2） 当大于阈值80%时，会从内存缓冲区不断溢出本地磁盘文件，可能会溢出多个文件，这一过程叫溢写阶段（spill）
3） 多个溢出文件会被合并成大的溢出文件（merge）
4） 在溢出过程中，及合并的过程中，都要调用 partitioner 进行分区和针对 key 进行排序(partition 和sort)
shuffle-reduce阶段
5） reducetask 根据自己的分区号，去各个 maptask 机器上取相应的结果分区数据，这个叫Copy过程，简单地拉取数据；
6） reducetask 会取到同一个分区的来自不同 maptask 的结果文件， reducetask 会将这些文件再进行合并（归并排序）（merge）
7） 合并成大文件后， shuffle 的过程也就结束了，后面进入 reducetask 的逻辑运算过程（从文件中取出一个一个的键值对 group，调用用户自定义的 reduce()方法）

3 注意事项

1.Shuffle 中的缓冲区大小会影响到 mapreduce 程序的执行效率，原则上说，缓冲区越大，磁盘 io 的次数越少，执行速度就越快。
缓冲区的大小可以通过参数调整， 参数： io.sort.mb 默认 100M
2.在spill阶段，不仅存在partition,sort阶段还有可能存在combine