Hadoop--06---MapReduce_01----概述

Posted 2022-05-24 高高for 循环

提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档

文章目录

• MapReduce概述
• • 1. MapReduce 定义
  • • MapReduce是一个 ==分布式计算==的编程框架
  • 2. MapReduce 优缺点
  • • 优点:
    • 缺点:
  • 3. MapReduce 核心思想
  • • 分布式的运算程序往往需要分成至少2 个阶段
    • 1.MapTask
    • 2.ReduceTask
  • 4. MapReduce 进程
• WordCount
• • 1. 官方WordCount 源码
  • 2. 常用数据序列化类型
  • 3. MapReduce 编程规范
  • • 用户编写的程序分成三个部分：Mapper、Reducer 和Driver。
    • 1．Mapper阶段
    • 2．Reducer阶段
    • 3．Driver阶段

---

MapReduce概述

1. MapReduce 定义

MapReduce是一个 分布式计算的编程框架

2. MapReduce 优缺点

优点:

缺点:

3. MapReduce 核心思想

分布式的运算程序往往需要分成至少2 个阶段

1.MapTask

2.ReduceTask

4. MapReduce 进程

WordCount

1. 官方WordCount 源码

)

2. 常用数据序列化类型

3. MapReduce 编程规范

用户编写的程序分成三个部分：Mapper、Reducer 和Driver。

1．Mapper阶段

2．Reducer阶段

3．Driver阶段

开发者涨薪指南 48位大咖的思考法则、工作方式、逻辑体系