MapReduce&YARN

Posted 2023-01-16 小征编程日记

1.MapReduce

• 分而治之思想
  • 
  • Map表示第一阶段，负责”拆分“：即把复杂的任务分解为若干个“简单地子任务”来并行处理。可以进行拆分的前提是这些小任务可以并行计算，彼此之间没有依赖关系。
  • Reduce表示第二阶段，负责“合并”：即对map阶段的结果进行全局汇总。
  • 这两个阶段合起来正是MapReduce思想的体现
    • 

• 设计构思
  • 1、如何对付大数据处理场景
    • 对相互间不具有计算依赖关系的大数据计算任务，实现并行最自然的办法就是采取MapReduce分而治之的策略。
    • 首先Map阶段进行拆分，把大数据拆分成若干份小数据，多个程序同时并行计算产生中间结果;然后是Reduce聚合阶段，通过程序对并行的结果进行最终的汇总计算，得出最终的结果。
    • 不可拆分的计算任务或相互间有依赖关系的数据无法进行并行计算!
      • 
  • 2、如何构建抽象的编程模型
    • MapReduce借鉴了函数式语言中的思想，用Map和Reduce两个函数提供了高层的并行编程抽象模型。
      • map:对一组数据元素进行某种重复式的处理;
      • reduce: 对Map的中间结果进行某种进—步的结果整理
      • 
    • MapReduce处理的数据类型是<key,value>对
  • 3、统一架构，隐藏底层细节
    • 
• 分布式计算概念
  • 分布式计算是一种计算方法，和集中式计算是相对的。
  • 随着计算技术的发展，有些应用需要非常巨大的计算能力才能完成，如果采用集中式计算，需要耗费相当长的时间来完成。
  • 分布式计算将该应用分解成许多小的部分，分配给多台计算机进行处理。这样可以节约整体计算时间，大大提高计算效率。

• MapReduce介绍
  • MapReduce是一个分布式计算框架。
  • 特点：
    • 1.易于编程
    • 2.良好的拓展性
    • 3.高容错性
    • 4.适合海量数据的离线处理（稳定）
  • 局限性：
    • 实时计算性差
    • 不能进行流式计算（不能添加、删除、改变数据）

• MapReduce实例进程
  • 一个完整的MapReduce程序在分布式运行时有三类
    • MRAppMaster：负责整个MR程序的过程调度及状态调度
    • MapTask：负责map阶段的整个数据处理流程
    • ReduceTask：负责reduce阶段的整个数据处理流程
  • 阶段组成：
    • 一个MapReduce编程模型中只能包含一个Map阶段和一个Reduce阶段，或者只有Map阶段
    • 不能有诸如多个map阶段，多个reduce阶段的情景出现
    • 如果用户的业务逻辑非常复杂，那就只能多个MapReduce程序串行运行
  • 数据类型：
    • 注意：整个MapReduce程序中，数据都是以kv键值对的形式流转的
    • 在实际编程解决格子业务问题中，需要考虑每个阶段的输入输出分别是什么
    • MapReduce内置了很多默认属性，比如排序分组等，都和数据的k有关，所以说kv的类型数据确定极其重要
• MapReduce初体验-->计算圆周率
  • 打开：/usr/local/qst/servers/hadoop-2.6.0-cdh5.14.0/share/hadoop/mapreduce
  • 执行：hadoop jar  hadoop-mapreduce-examples-2.6.0-cdh5.14.0.jar pi 10 10
• MapReduce初体验-->词频统计
  • 自己练习
  • 
• 执行流程（读取文件、map逻辑、分区、排序、规约、分组、reduce逻辑、输出）
  • Map阶段
    • 第一阶段：把输入目录下文件按照一定的标准逐个进行逻辑切片，形成切片规则，默认切片为128M大小，每一个切片由一个MapTask处理
    • 第二阶段：对切片中的数据按照一定的规则读取解析返回<key，value>对，默认是按行读取数据，key是每一个行的起始位置偏移量，value 是本行的文本内容
    • 第三阶段：调用Mapper类中的map方法处理数据，每读取解析出来一个<K,V>，调用一次map方法
    • 第四阶段：按照一定的规则对Map输出的键值对进行分区partition。默认不分区，因为只有一个reduceTask。分区的数量就是reduceTask运行的数量

--- shuffle 开始 ---

• 第五阶段：Map输出数据写入内存缓冲区，达到比例溢出到磁盘上。溢出spill的时候根据key进行排序sort。默认根据key字典序排序
• 第六阶段：对所有溢出文件进行最终的merge合并。成为一个文件
  • 

• Shuffle阶段
  • 概念：
    • shuffle的本意是洗牌，混洗的意思，把一组有规则的数据尽量打乱成无规则的数据。
    • 而在MapReduce中，Shuffle更像是洗牌的逆过程，指的是将map端无规则输出按指定规则“打乱”成具有一定规则的数据，以便于reduce端接收处理。
    • 一般把从map产生输出开始到Reduce取得数据作为输入之前的过程称作shuffle。
      • 
  • Shuffle过程包括Map阶段的Shuffle和Reduce阶段的Shuffle
    • Map端的Shuffle：
      • Collect阶段︰将MapTask的结果收集输出到默认大小为100M的环形缓冲区，保存之前会对key进行分区的计算，默认Hash分区。
      • Spill阶段︰当内存中的数据量达到一定的阀值的时候，就会将数据写入本地磁盘，在将数据写入磁盘之前需要对数据进行一次排序的操作，如果配置了combiner，还会将有相同分区号和key的数据进行排序。
      • Merge阶段︰把所有溢出的临时文件进行一次合并操作，以确保一个MapTask最终只产生一个中间数据文件。
    • Reduce端的Shuffle：
      • Copy阶段: ReduceTask启动Fetcher线程到已经完成MapTask的节点上复制一份属于自己的数据。
      • Merge阶段∶在ReduceTask远程复制数据的同时，会在后台开启两个线程对内存到本地的数据文件进行合并操作。
      • Sort阶段∶在对数据进行合并的同时，会进行排序操作，由于MapTask阶段已经对数据进行了局部的排序，ReduceTask只需保证Copy的数据的最终整体有效性即可
  • Shuffle阶段的弊端：
    • Shuffle是MapReduce程序的核心与精髓，是MapReduce的灵魂所在。
    • Shuffle也是MapReduce被诟病最多的地方所在。MapReduce相比较于Spark、Flink计算引擎慢的原因，跟Shuffle机制有很大的关系。
    • Shuffle中频繁涉及到数据在内存、磁盘之间的多次往复。
• Reduce阶段
  • 第一阶段：ReduceTask会主动从MapTask复制拉取属于需要自己处理的数据
  • 第二阶段：把拉来的数据，全部进行合并merge，即把分散的数据合并成一个大的数据。再对合并后的数据排序。

--- shuffle 结束 ---

• 第三阶段：对排序后的键值对调用reduce方法，键相等的键值对调用一次reduce方法，最后把这些输出的键值对写入到HDFS文件中