Hadoop--02---HDFSYARNMapReduce 概述
Posted 高高for 循环
tags:
篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了Hadoop--02---HDFSYARNMapReduce 概述相关的知识,希望对你有一定的参考价值。
提示:文章写完后,目录可以自动生成,如何生成可参考右边的帮助文档
文章目录
HDFS、YARN、MapReduce 概述
1.HDFS架构概述
Hadoop Distributed File System,简称HDFS,是一个分布式文件系统。
2.YARN 架构概述
Yet Another Resource Negotiator 简称YARN ,另一种资源协调者,是Hadoop 的资源管理器。
3.MapReduce 架构概述
MapReduce 将计算过程分为两个阶段:Map 和Reduce
1)Map 阶段并行处理输入数据
2)Reduce 阶段对Map 结果进行汇总
4.HDFS、YARN、MapReduce 三者关系
大数据技术生态体系
图中涉及的技术名词解释如下:
推荐系统框架图
以上是关于Hadoop--02---HDFSYARNMapReduce 概述的主要内容,如果未能解决你的问题,请参考以下文章