Hadoop第三课

Posted 2020-10-27 那是个好男孩

1.3Hadoop基础知识

1.3.1术语解释

1.Hadoop1.0

• 第一代Hadoop，由分布式文件系统HDFS 和分布式计算框架MapReduce组成

• HDFS由一个NameNode和多个DataNode 组成

• MapReduce由一个JobTracker和多个 TaskTracker组成 

课堂笔记

图中的4个英文单词都是指带进程。

进程简而言之就是程序(一行行的代码)加上启动这个程序所包含的所有资源。

大致讲解一下Hadoop1.0，看图！master这个节点中有两个进程，NameNode和JobTracker；slaves这个节点中也有两个进程，DateNode和TaskTracker。首先我们要知道上文所陈列的三点，顾名思义，NameNode管存储，将资源存储在DateNode中；而JobTracker管计算和调度，(DateNode和TaskTracker在同一个地方，一个存储，一个计算，这种计算方法是最优化的)。我们可以打个比方，比作是一个公司，那么CEO—JobTracker,秘书—NameNode(真正的存储是存储在DateNode是我身上的)。

但这样的Hadoop1.0有一个致命的缺点，倘若宕机的是master这一节点，这一系统就彻底奔溃了，这时，我们想到了一个解决方法，给master作备份，然而这个备份是冷备份，也就是说不是实时备份的，因而我们所说的单点故障是由NameNode的冷备份所造成的，所以Hadoop1.0没有走下去。

master这一节点在整个集群中是不唯一的。NameNode是唯一的。slaves这个节点也不唯一，是多个的。

下面分别阐述下几个进程的作用：

• NameNode：

　　1.HDFS的守护进程。

　　2.记录文件是如何被分隔成数据块的。

　　3.记录这些数据块被存储到哪些节点上。

　　4.会对内存和IO进行集中性的管理。

• JobTracker：

　　客户端提交作业首先是提交给JobTracker的。

　　1.用于处理后台作业的一个程序。

　　2.JobTracker会分割任务，并分配到对应的节点上。

　　3.分析：任务未完成；任务失败。重新启动失败的任务；重新调度，让新的节点来完成这一任务。

• DateNode

 　　每一台slaves服务器上都有一个DateNode的进程。DateNode的工作：负责将HDFS上的数据读取到本地文件文件系统中去。

• TaskTracker

　　做具体工作的一个进程。作用：启动多个JVM，并执行Map或reduse的任务。

————————————————————————————————————

2.Hadoop2.0 

• 第二代Hadoop，为克服Hadoop1.0中 HDFS和MapReduce存在的各种问题而提出
• Hadoop1.0单NameNode制约HDFS扩展性，(因为内存大小限制了节点的个数，大体为4000个节点个数) 提出HDFS Federation (联合 思想：分而治之)
  
• Hadoop1.0中MapReduce在扩展性和多框架支持等方面的不足，将JobTracker中的资 源管理和作业控制功能分开，分别由组件ResourceManager和ApplicationMaster实现 

 

ps：Spark—搭建在Hadoop上才变成分布式的。

因为有了YARN，所以可以有其他框架进入Hadoop2.0这个载体上，这是个松耦合。

 

3.MapReduce1.0或MRv1 

MRv1中计算框架为三个部分：

• 编程模型——Map和Reduce函数组成
• 数据处理引擎——Map Task和Reduce Task组成
• 运行环境——一个JobTracker和多个 TaskTracker组成 

4.MRv2

• 与MRv1相同的编程模型和数据处理引擎， 不同的是运行环境
• MRv2是在MRv1基础上经过加工后，运行 于资源管理框架YARN之上的计算框架 MapReduce
• 由通用资源管理系统YARN和作业控制进程 ApplicationMaster来完成相应工作 

5.YARN

• Hadoop2.0中的资源管理系统，是一个通用 资源管理模块，可为各类应用程序进行资 源管理和调度
• YARN不仅限于MapReduce一种计算框架， 也可供其他框架使用，如Spark、Storm
• 由于YARN的通用性，下一代MapReduce 的核心已从简单的支持单一应用的计算框 架转移到通用资源管理系统上 

ps：MESOS也是一个通用资源管理器。

Hadoop1.0+Spark+Storm这三个框架造成了资源浪费，人力资源问题等。有YARN后，这些问题就得以优化，当Spark用的比较多时，可以将资源迁移到Spark上。

6.HDFS Federation

• Hadoop2.0对HDFS进行了改进，使 NameNode可以横向扩展成多个，每个 NameNode分管一部分目录，进而产生了 HDFS Federation
• 该机制的引入不仅增强了HDFS的扩展性， 也使HDFS具备了隔离性 

1.3.2Hadoop版本变迁

Apache Hadoop主要有四个系列的版本：

• 0.20.X系列——最老版本
• 0.21.0/0.22.x系列——俗称Hadoop1.0版本
• 0.23.X系列——克服Hadoop在扩展性和框 架通用性方面的不足
• 2.X系列——同0.23.X系列一样，属于 Hadoop2.0版本，主要增加了NameNode HA等功能

作业

• 什么是Hadoop，你理解中的Hadoop是什么，请举例说明？
•  Hadoop2.0生态系统中包括哪些产品，请描述他们之间的关系?