第2节 mapreduce深入学习:12reducetask运行机制(多看几遍)

Posted mediocreworld

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了第2节 mapreduce深入学习:12reducetask运行机制(多看几遍)相关的知识,希望对你有一定的参考价值。

ReduceTask的运行的整个过程 背下来
1、启动线程到mapTask那里去拷贝数据,拉取属于每一个reducetask自己内部的数据
2、数据的合并,拉取过来的数据进行合并,合并的过程,有可能在内存当中,有可能在磁盘当中,有可能在内存和磁盘当中,合并的时候同时要进行分组操作
3、调用reduce逻辑
4、数据输出

 

技术图片

 

以上是关于第2节 mapreduce深入学习:12reducetask运行机制(多看几遍)的主要内容,如果未能解决你的问题,请参考以下文章

第2节 mapreduce深入学习:7MapReduce的规约过程combiner

第2节 mapreduce深入学习:8手机流量汇总求和

深入MapReduce计算引擎02

大数据学习深入源码解析MapReduce的架构及实现过程

第3节 mapreduce高级:4倒排索引的建立

深入大数据架构师之路,问鼎40万年薪