Hadoop源代码点滴-系统结构（HDFS+YARN）
Posted 手握太阳
tags:
篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了Hadoop源代码点滴-系统结构（HDFS+YARN）相关的知识，希望对你有一定的参考价值。
Hadoop建立起HDFS和YARN两个字系统，前者是文件系统，管数据存储；后者是计算框架，管数据处理。
如果只有HDFS而没有YARN，那么Hadoop集群可以被用作容错哦的文件服务器，别的就没有什么应用可言了。虽然HDFS是个分布式的文件系统，但是对服务器的用户来说那只是他的内部实现，从外部看与一般的Raid结构的文件服务器并无多大的区别。
从功能和层次上看，YARN是HDFS的用户，是HDFS的上一层，YARN的功能是建立在HDFS基础上的，HDFS提供数据供YARN字系统处理和计算。
YARN代表中一种新的计算模式，在传统的“客户/服务”模式中，计算在哪里，就把数据（通过网络）搬运到哪里。而YARN所实现的模式却是“数据在哪里，计算就在哪里进行”YARN子系统里的计算就好像溶化在HDFS所在的集群中一样。传统的“客户/服务”模式是哑铃状的集中存储加集中计算，而Hadoop的模式是“溶化”式的、“打成一片”的分布存储家分布计算。显然，对于大数据处理，后者的效率（从而其价值）比前者要大得多。
这两个子系统都是分布式的，但都是主从式分布。HDFS、YARN都有主节点、从节点。客户只能跟YARN的主系统打交道，而不直接跟任何一个从节点打交道；即使他正在某个从节点上，也只是借由这个从节点跟主节点打交道。同样，如果用户要将一个文件复制到HDFS中也首先要跟HDFS主节点打交道，而后在主节点的安排和指引下将文件内容传递到某些从节点上。
YARN和HDFS是同一个集群上的两个子系统，但和并不意味着把集群中的节点机器划分为两个集合，分别用于两个字系统；而是集群中 的每个节点及其都扮演着两种角色，打折两份工。所以，当我们说某台节点是HDFS的话一个从节点时，他也许（多半）又是YARN的从节点，但也不排除恰巧是YARN的主节点的可能。
一、
以上是关于Hadoop源代码点滴-系统结构（HDFS+YARN）的主要内容，如果未能解决你的问题，请参考以下文章