MapReduce不同进度的Reduce都在干什么？

Posted 2021-07-06 Alex Hub

1. reduce: 0-33% 是shuffle阶段。这个阶段将mappers中的数据转移到reducers中。
2. reduce: 33%-67% 是sort阶段。这个阶段必须在mappers完成之后。
3. reduce: 67%-100% 是实际运行 reduce 代码的阶段。每次reduce任务完成时，该百分比都会上升。