MapReduce框架结构

Posted 2022-10-31 tiepihetao

一个完整的mapreduce程序在分布式运行时有三类实例进程

• MRAppMaster:负责整个程序的过程调度及状态协调！
  
• MapTask：负责map阶段的整个数据处理流程！
  
• ReductTask:负责reduce阶段的整个数据处理流程！

 

图示：

 

 

执行步骤：

            map任务处理：

1. 读取输入文件内容，解析为key value 键值对，对输入文件的每一行，解析为key value对。每一个键值对调用一次map函数。
2. 写自己的逻辑，对输入的Key Value 处理，转换为新的 kv对输出！
3. 对输出的key value 进行分区 ！
4. 对不同的分区数据，按照key进行排序 ,分组。相同的key的value放到一个集合中
5. 分组后进行数据归约。

            reduce任务处理：

1. 对多个map任务的输出，按照不同分区，通过网络copy到不同的reduce节点
2. 对多个map任务的输出进行合并，排序。写reduce自己的逻辑，输入的key value 进行处理，转换成新的key value输出！
3. 把reduce的输出保存到文件中！