Hadoop--02---HDFSYARNMapReduce 概述

Posted 高高for 循环

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了Hadoop--02---HDFSYARNMapReduce 概述相关的知识,希望对你有一定的参考价值。

提示:文章写完后,目录可以自动生成,如何生成可参考右边的帮助文档

文章目录


HDFS、YARN、MapReduce 概述

1.HDFS架构概述

Hadoop Distributed File System,简称HDFS,是一个分布式文件系统



2.YARN 架构概述

Yet Another Resource Negotiator 简称YARN ,另一种资源协调者,是Hadoop 的资源管理器

3.MapReduce 架构概述

MapReduce 将计算过程分为两个阶段:Map 和Reduce

1)Map 阶段并行处理输入数据

2)Reduce 阶段对Map 结果进行汇总

4.HDFS、YARN、MapReduce 三者关系

大数据技术生态体系

图中涉及的技术名词解释如下:



推荐系统框架图

以上是关于Hadoop--02---HDFSYARNMapReduce 概述的主要内容,如果未能解决你的问题,请参考以下文章