Hadoop的架构知识
Posted
tags:
篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了Hadoop的架构知识相关的知识,希望对你有一定的参考价值。
最近没事研究了下Hadoop,先来了解下Hadoop的架构知识
Hadoop是一个能够对大量数据进行分布式处理的软件框架,实现了Google的MapReduce编程模型和框架,能够把应用程序分割成许多小的工作单元,并把这些单元放到任何集群节点上执行。在MapReduce中,一个准备提交执行的应用程序成为“作业job”,而从一个作业换分出的、运行于个计算节点的工作单元成为“任务task”。此外,Hadoop提供的分布式文件系统HDFS主要负责各个节点上的数据的存储,并实现了高吞吐率的数据读写。
在分布式存储和分布式计算方面,Hadoop都使用主/从(Master/Slave)架构。在一个配置完整的集群上想让Hadoop跑起来,需要在集群中运行一系列后台(daemon)程序。不同的祸胎程序扮演着不同的角色,这些角色由NameNode,DataNode,Secondary NameNode,JobTracker,TaskTracker组成,其中NameNode,Secondary NameNode,JobTracker运行在Master几点上,而在每个Slave节点上,部署着一个DataNode和TaskTracker,一边这个Slave服务器上运行的数据处理程序能尽可能直接处理本机的数据。对Master节点需要特别说明的是,在小集群中,Secondary NameNode可以属于某个从节点;在大型集群汇中,NameNode和JobTracker被分别部署在两台服务器上。
NameNode
NameNode是HDFS的守护程序,负责记录文件是如何分割成数据块的,以及数据块被存储到哪些数据节点上。它的主要功能是对内存及I/O进行集中管理。
一般来说,NameNode所在的服务器不存储任何用户信息或执行计算任务,以避免这些程序降低服务器的性能。如果其他从服务器因出现软硬件的问题而宕机,Hadoop集群仍旧可以继续运行,或者快速重启。但是由于NameNode是Hadoop集群中的一个单一节点,一旦NameNode服务器宕机,整个系统将无法运行。
DataNode
集群中的每个从服务器都运行着一个DataNode后台程序,它负责把HDFS数据块读写到本地的文件系统。当需要通过客户端读/写某个数据时,先由NameNode告诉客户端去哪个DataNode进行具体的读/写操作,然后,客户端直接与这个DataNode服务器的后台程序进行通信,并且对相应的数据块进行读/写操作。
Secondary NameNode
Secondary NameNode是一个用来监控HDFS状态的辅助后台程序。就像NameNode一样,每个集群都有一个Secondary NameNode,并且部署在一台单独的服务器上。Secondary NameNode不同于NameNode,它不接收或记录任何实时的数据变化,但是,它会与NameNode进行通信,以便定期地保存HDFS元数据的快照。由于NameNode是单点的,通过Secondary NameNode的快照功能,可以讲NameNode的宕机事件和数据损失降低到最小。同时,如果NameNode发生问题时,Secondary NameNode可以及时地作为备用NameNode继续使用。
JobTracker
JobTracker后台程序用来连接应用程序与Hadoop。用户代码提交到集群以后,由JobTracker决定哪个文件将被处理,并且为不同的task分配节点。同时,它还监控所有运行的task,一旦某个task失败了,JobTracker就会自动重新开启这个task,在大多数情况下这个task会被放在不同的节点上,当然,具体运行情况取决于重启的预设值。每个Hadoop集群只有一个JobTracker,一般运行在集群的Master节点上。
TaskTracker
TaskTracker与负责存储数据的DataNode相结合,其处理结构上也遵循主/从架构。JobTracker位于主节点,统领MapReduce工作,而TaskTracker位于从节点,独立管理各自的task。每个TaskTracker负责独立执行具体的task,而JobTracker负责分配task。虽然每个从节点上仅有唯一的一个TaskTracker,但是每个TaskTracker可以产生多个Java虚拟机(JVM),用于并行处理多个map以及reduce任务。TaskTracker的一个重要职责就是与JobTracker交互。如果IobTaskTracker无法准时地获取TaskTracker提交的信息,JobTracker就判定TaskTracker已经崩溃,并将任务分配给其他的节点处理。
以上是关于Hadoop的架构知识的主要内容,如果未能解决你的问题,请参考以下文章
Hadoop(HDFSYarnMapReduceZookeeperKafkaFlumeStormSpark) 知识点总结
Hadoop(HDFSYarnMapReduceZookeeperKafkaFlumeStormSpark) 知识点总结