第2节 mapreduce深入学习:12reducetask运行机制(多看几遍)
Posted mediocreworld
tags:
篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了第2节 mapreduce深入学习:12reducetask运行机制(多看几遍)相关的知识,希望对你有一定的参考价值。
ReduceTask的运行的整个过程 背下来
1、启动线程到mapTask那里去拷贝数据,拉取属于每一个reducetask自己内部的数据
2、数据的合并,拉取过来的数据进行合并,合并的过程,有可能在内存当中,有可能在磁盘当中,有可能在内存和磁盘当中,合并的时候同时要进行分组操作
3、调用reduce逻辑
4、数据输出
以上是关于第2节 mapreduce深入学习:12reducetask运行机制(多看几遍)的主要内容,如果未能解决你的问题,请参考以下文章