Hadoop--02---HDFSYARNMapReduce 概述

Posted 2022-05-18 高高for 循环

提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档

文章目录

• HDFS、YARN、MapReduce 概述
• • 1.HDFS架构概述
  • • Hadoop Distributed File System，简称HDFS，是一个==分布式文件系统==。
  • 2.YARN 架构概述
  • • Yet Another Resource Negotiator 简称YARN ，另一种资源协调者，是Hadoop 的==资源管理器==。
  • 3.MapReduce 架构概述
  • • MapReduce 将计算过程分为两个阶段：Map 和Reduce
    • 1）Map 阶段==并行处理输入数据==
    • 2）Reduce 阶段对Map ==结果进行汇总==
  • 4.HDFS、YARN、MapReduce 三者关系
• 大数据技术生态体系
• • 图中涉及的技术名词解释如下：
  • 推荐系统框架图

---

HDFS、YARN、MapReduce 概述

1.HDFS架构概述

Hadoop Distributed File System，简称HDFS，是一个分布式文件系统。

2.YARN 架构概述

Yet Another Resource Negotiator 简称YARN ，另一种资源协调者，是Hadoop 的资源管理器。

3.MapReduce 架构概述

MapReduce 将计算过程分为两个阶段：Map 和Reduce

1）Map 阶段并行处理输入数据

2）Reduce 阶段对Map 结果进行汇总

4.HDFS、YARN、MapReduce 三者关系

大数据技术生态体系

图中涉及的技术名词解释如下：

推荐系统框架图