Hadoop-2.4.1学习之Map任务源码分析(上)

Posted 2022-12-06 skyWalker_ONLY

      众所周知，Mapper是MapReduce编程模式中最重要的环节之一（另一个当然是Reducer了）。在Hadoop-2.x版本中虽然不再有JobTracker和TaskTracker，但Mapper任务的功能却没有变化，本篇文章将结合源代码深入分析Mapper任务时如何执行的，包括处理InputSplit，mapper的输出、对输出分类等。在进行分析之前先明确几个概念：作业、任务、任务的阶段和任务的状态，可以将作业理解为要最终实现的功能或目的，比如统计单词的数量，而任务就是对该作业的拆分，只负责一部分作业，比如在统计单词数量的例子中，将一个作业交由10个任务去完成。任务的阶段指的是当前任务在执行什么功能，比如map和分类功能，在hadoop中一个任务的阶段由枚举类Phase定义，具体有6个阶段：STARTING、MAP、SHUFFLE、SORT、REDUCE、CLEANUP。任务的状态指的是该任务所处于的状态，比如运行中，失败等，具体由枚举类State定义：RUNNING、SUCCEEDED、FAILED、UNASSIGNED、KILLED、COMMIT_PENDING、FAILED_UNCLEAN、KILLED_UNCLEAN。

      在hadoop中map任务是由类MapTask表示的，该类提供了众多的内部类用于完成map任务，比如读取输入，收集输出等。在该类的开头语句块中定义了map任务的阶段：

   // set phase for this task
    setPhase(TaskStatus.Phase.MAP); 
    getProgress().setStatus("map");