MapReduce并行编程模型

Posted 2020-12-12 hanchaoyue

一、课前准备

1. 3节点hadoop集群

2. 安装IDEA

3. 安装maven并配置环境变量

二、课堂主题

1.  围绕MapReduce分布式计算讲解

三、课堂目标

1. 理解MapReduce编程模型

2. 独立完成一个MapReduce程序并运行成功

3. 了解MapReduce工程流程

4. 掌握并描述出shuffle全过程（面试）

5. 理解并解决数据倾斜

四、知识要点

1. MapReduce编程模型

• MapReduce是采用一种分而治之的思想设计出来的分布式计算框架
• 如一复杂或计算量大的任务，单台服务器无法胜任时，可将此大任务切分成一个个小的任务，

　　　　小任务分别在不同的服务器上并行的执行，最终再汇总每个小任务的结果

• MapReduce由两个阶段组成：Map阶段（切分成一个个小的任务）、Reduce阶段（汇总成小任务的结果）

 

 

 

 

1.1 Map阶段

• map（）函数的输入是kv对，输出是一些列kv对，输出写入本地磁盘。

1.2 Reduce阶段

• reduce（）函数的输入是kv对（即map的输出（kv对））；输出是一些列kv对，最终写入HDFS

1.3 Main程序入口

2. MapReduce编程示例

•  以词频统计为例：统计一批英文文章当中，各个单词出现的总次数

2.1 MapReduce原理图

 

 

 

2.2 MR参考代码

2.2.1 Mapper代码

 

• block对应一个分片splist，一个split对应一个map task
• reduce task的个数由程序中编程指定

 

3. WEB UI 查看结果

3.1 Yarn

浏览器url地址: rm 节点IP:8088

3.2 HDFS结果

 

4. Combiner

 

 

• map端本地聚合；不论运行多少次Combiner操作，都不会影响最终的结果
• 并非所有的mr都适合combiner操作，比如求平均值
• WorldCountMap与WorkCountReduce代码不变
• WordCountMain中，增加job.setCombinerClass（WorldCountReduce.class）
• 详见工程代码

5. Shuffle

 

 

 map task 向环形缓冲区写

环形缓冲区 100M，当使用达到80%，会溢出写磁盘文件（将环形缓冲区文件写入到磁盘中）

 写的过程： 分区、排序（combine、压缩 、num>=3）

 　　　　分区：默认HashPartition =>getPartition()方法，

　　　　　　　　(key.hashCode()&Integer.MAX_VALUE) % numReduceTasks 

　　　　排序：每个分区内排序，根据key排序，

最后将多个小的分区文件合并成一个大的分区文件（仍然是排序的）

 

 

6. 自定义分区Partition

 

7. 二次排序

 

8. MapReduce分区倾斜