hadoop入门笔记MapReduce简介

Posted 2020-10-01

. MapReduce基本编程模型和框架

1.1 MapReduce抽象模型

大数据计算的核心思想是：分而治之。如下图1所示。把大量的数据划分开来，分配给各个子任务来完成。再将结果合并到一起输出。 
注：如果数据的耦合性很高，不能分离，那么这种并行计算就不适合了。

图1：MapReduce抽象模型

1.2 Hadoop的MapReduce的并行编程模型

如下图2所示，Hadoop的MapReduce先将数据划分为多个key/value键值对。然后输入Map框架来得到新的key/value对，这时候只是中间结果，这个时候的value值是个值集合。再通过同步障（为了等待所有的Map处理完），这个阶段会把相同key的值收集整理（Aggregation&Shuffle）在一起，再交给Reduce框架做输出组合，如图2中每个Map输出的结果，有k1，k2，k3，通过同步障后，k1收集到一起，k2收集到一起，k3收集到一起，再分别交给Reduce，通过Reduce组合结果。 

图2：hadoop的MapReduce的框架

1.3 Hadoop的MapReduce的完整编程模型和框架

图3是MapReduce的完整编程模型和框架，比模型上多加入了Combiner和Partitioner。 
1）Combiner 
Combiner可以理解为一个小的Reduce，就是把每个Map的结果，先做一次整合。例如图3中第三列的Map结果中有2个good，通过Combiner之后，先将本地的2个good组合到了一起（红色的（good，2））。好处是大大减少需要传输的中间结果数量量，达到网络数据传输优化，这也是Combiner的主要作用。 
2）Partitioner 
为了保证所有的主键相同的key值对能传输给同一个Reduce节点，如图3中所有的good传给第一个Reduce前，所有的is和has传给第二个Reduce前，所有的weather，the和today传到第三个Reduce前。MapReduce专门提供了一个Partitioner类来完成这个工作，主要目的就是消除数据传入Reduce节点后带来不必要的相关性。 

图3：Hadoop的MapReduce的完整编程模型和框架

2.Hadoop系统架构

图4是Hadoop系统的基本组成框架。从逻辑上看，Hadoop系统的基本组成架构包括分布式存储和并行计算两部分。 
1）分布式存储框架（分布式文件系统HDFS） 
Hadoop使用NameNode作为分布式存储的主控节点，用以存储和管理分布式文件系统的元数据，同时使用DataNode作为实际存储大规模数据从节点。 
2）并行计算框架（MapReduce） 
Hadoop使用JobTracker作为MapReduce框架的主控节点，用来管理和调度作业的执行，用TaskTracker管理每个计算从节点上任务的执行。

为了实现Hadoop设计的本地化计算，数据节点DataNode和计算节点TaskTracker将放在同个节点，每个从节点也是同时运行DataNode和TaskTracker，从而让每个TaskTracker尽量处理存储在本地DataNode上的数据。 
数据主控节点NameNode与作业执行节点JobTracker即可以设置在同一个节点上，也可以考虑负载较高时，而设置在两个节点上。 

图4：Hadoop系统的基本组成框架

3.Hadoop MapReduce程序执行过程

 
图5：Hadoop MapReduce程序执行过程

MapReduce的整个工作过程如上图所示，它包含如下4个独立的实体：

　　1）客户端，用来提交MapReduce作业。

　　2）jobtracker，用来协调作业的运行。

　　3）tasktracker，用来处理作业划分后的任务。

　　4）HDFS，用来在其它实体间共享作业文件。

　　MapReduce整个工作过程有序地包含如下工作环节：

　　1）作业的提交

　　2）作业的初始化

　　3）任务的分配

　　4）任务的执行

　　5）进程和状态的更新

　　6）作业的完成

　　有关MapReduce的详细工作细节，请见：《Hadoop权威指南（第二版）》第六章MapReduce工作机制。　

4.MapReduce执行框架的组件和执行流程

图6是MapReduce执行框架的组件和执行流程，下面足一做解释。 

图6：MapReduce执行框架的组件和执行流程

4.1 文件输入格式InputFormat

1）定义了数据文件如何分割和读取 
2）InputFile提供了以下一些功能

• 选择文件或者其它对象，用来作为输入
• 定义InputSplits，将一个文件分开成为任务
• 为RecordReader提供一个工厂，用来读取这个文件

3）有一个抽象的类FileInputFormat，所有的输入格式类都从这个类继承这个类的功能以及特性。当启动一个Hadoop任务的时候，一个输入文件所在的目录被输入到FileInputFormat对象中。FileInputFormat从这个目录中读取所有文件。然后FileInputFormat将这些文件分割为一个或者多个InputSplits。 
4）通过在JobConf对象上设置JobConf.setInputFormat设置文件输入的格式 
2）接口定义 

图7：InputFormat接口定义

4.2 输入数据分块InputSplits

1）InputSplit定义了输入到单个Map任务的输入数据 
2）一个MapReduce程序被统称为一个Job，可能有上百个任务构成 
3）InputSplit将文件分为64MB的大小

• 配置文件hadoop-site.xml中的mapred.min.split.size参数控制这个大小

4）mapred.tasktracker.map.taks.maximum用来控制某一个节点上所有map任务的最大数目

4.3 数据记录读入RecordReader（RR）

1）InputSplit定义了一项工作的大小，但是没有定义如何读取数据 
2）RecordReader实际上定义了如何从数据上转化为一个(key,value)对的详细方法，并将数据输出到Mapper类中 
3）TextInputFormat提供了LineRecordReader

4.4 Mapper

1）每一个Mapper类的实例生成了一个Java进程（在某一个InputSplit上执行） 
2）有两个额外的参数OutputCollector以及Reporter，前者用来收集中间结果，后者用来获得环境参数以及设置当前执行的状态。 
3）现在用Mapper.Context提供给每一个Mapper函数，用来提供上面两个对象的功能

4.5 Combiner

1）合并相同key的键值对，减少partitioner时候的数据通信开销 
2）conf.setCombinerClass(Reduce.class)

4.6 Partitioner & Shuffle

在Map工作完成之后，每一个 Map函数会将结果传到对应的Reducer所在的节点，此时，用户可以提供一个Partitioner类，用来决定一个给定的(key,value)对传输的具体位置

4.7 Sort

传输到每一个节点上的所有的Reduce函数接收到得Key,value对会被Hadoop自动排序（即Map生成的结果传送到某一个节点的时候，会被自动排序）

4.8 Reducer

1）做用户定义的Reduce操作 
2）最新的编程接口是Reducer.Context

4.9 文件输出格式OutputFormat

1）说明 
写入到HDFS的所有OutputFormat都继承自FileOutputFormat 
每一个Reducer都写一个文件到一个共同的输出目录，文件名是part-nnnnn，其中nnnnn是与每一个reducer相关的一个号（partition id） 
FileOutputFormat.setOutputPath() 
JobConf.setOutputFormat() 
2）接口定义 

图8：OutputFormat接口定义

4.10 RecordWriter

TextOutputFormat实现了缺省的LineRecordWriter，以”key／value”形式输出一行结果。

5. 容错处理与计算性能优化

1）主要方法是将失败的任务进行再次执行 
2）TaskTracker会把状态信息汇报给JobTracker，最终由JobTracker决定重新执行哪一个任务 
3）为了加快执行的速度，Hadoop也会自动重复执行同一个任务，以最先执行成功的为准（投机执行） 
4）mapred.map.tasks.speculative.execution 
5）mapred.reduce.tasks.speculative.execution