Hadoop简介和体系架构

Posted 全栈ing小甘

tags:

篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了Hadoop简介和体系架构相关的知识，希望对你有一定的参考价值。

目录

2．1 Hadoop简介

2．1．1 Hadoop由来

2．1．2 Hadoop发展历程

 2．1．3 Hadoop生态系统

 2．2 Hadoop的体系架构

 2．2．1 分布式文件系统HDFS

2．2．2 分布式计算框架MapReduce 

 2．2．3 分布式资源调度系统YARN

2.  2.  4 三大发行版本

2．1 Hadoop简介

自从大数据的概念被提出后，出现了很多相关技术，其中对大数据发展最有影响力的就是开源分布式计算平台Hadoop，它就像软件发展史上的Window、Linux、Java一样，它的出现给接下来的大数据技术发展带来了巨大的影响。很多知名公司都加入Hadoop相关项目的开发中，如Facebook、Yahoo等，围绕大数据Hadoop技术产生了一系列大数据的相关技术

如 Spark、Hive、HCatalog、HBase、Zookeeper、Oozie、Pig和Sqoop等，这些项目组成 了大数据技术的开源生态圈，开源的Hadoop项目极大的促进了大数据技术在很多行业的应用发展

本章将详细介绍hadoop的由来和相关项目，最新的hadoop2.0的体系架构，以及在学习hadoop前，必须掌握的技术基础（Java语言和编程、关系型数据库、Linux操作系统等）

2．1．1 Hadoop由来

Hadoop起源于Google的三大论文：

GFS：Google的分布式文件系统Google File System

MapReduce：Google的MapReduce开源分布式并行计算框架

BigTable：一个大型的分布式数据库

演变关系

GFS—->HDFS

Google MapReduce—->Hadoop MapReduce

BigTable—->HBase

2．1．2 Hadoop发展历程

 2．1．3 Hadoop生态系统

 图中涉及的技术名词解释如下：

1、Sqoop：Sqoop是一款开源的工具，主要用于在Hadoop、Hive与传统的数据库(mysql)间进行数据的传递，可以将一个关系型数据库（例如 ：MySQL，Oracle 等）中的数据导进到Hadoop的HDFS中，也可以将HDFS的数据导进到关系型数据库中。

2、Flume：Flume是Cloudera提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统，Flume支持在日志系统中定制各类数据发送方，用于收集数据；同时，Flume提供对数据进行简单处理，并写到各种数据接受方（可定制）的能力。

3、Kafka：Kafka是一种高吞吐量的分布式发布订阅消息系统，有如下特性：

        （1）通过O(1)的磁盘数据结构提供消息的持久化，这种结构对于即使数以TB的消息存储也能够保持长时间的稳定性能。

        （2）高吞吐量：即使是非常普通的硬件Kafka也可以支持每秒数百万的消息。

        （3）支持通过Kafka服务器和消费机集群来分区消息。

        （4）支持Hadoop并行数据加载。

4、Storm：Storm用于“连续计算”，对数据流做连续查询，在计算时就将结果以流的形式输出给用户。

5、Spark：Spark是当前最流行的开源大数据内存计算框架。可以基于Hadoop上存储的大数据进行计算。

6、Oozie：Oozie是一个管理Hadoop作业（job）的工作流程调度管理系统。

7、Hbase：HBase是一个分布式的、面向列的开源数据库。HBase不同于一般的关系数据库，它是一个适合于非结构化数据存储的数据库。

8、Hive：Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供简单的SQL查询功能，可以将SQL语句转换为MapReduce任务进行运行。 其优点是学习成本低，可以通过类SQL语句快速实现简单的MapReduce统计，不必开发专门的MapReduce应用，十分适合数据仓库的统计分析。

10、R语言：R是用于统计分析、绘图的语言和操作环境。R是属于GNU系统的一个自由、免费、源代码开放的软件，它是一个用于统计计算和统计制图的优秀工具。

11、Mahout：Apache Mahout是个可扩展的机器学习和数据挖掘库。

12、ZooKeeper：Zookeeper是Google的Chubby一个开源的实现。它是一个针对大型分布式系统的可靠协调系统，提供的功能包括：配置维护、名字服务、 分布式同步、组服务等。

ZooKeeper的目标就是封装好复杂易出错的关键服务，将简单易用的接口和性能高效、功能稳定的系统提供给用户。

 2．2 Hadoop的体系架构

 2．2．1 分布式文件系统HDFS

 

HDFS 是一种分布式文件系统，为在商用硬件上运行而设计。HDFS具有高度容错能力，旨在部署在低成本的硬件上。HDFS提供对应用程序数据的高吞吐量访问，适用于具有大型数据集的应用程序

HDFS采用 Master/Slave 的架构来存储数据，该架构主要由4个部分组成

  1. Client：切片，用来与NameNode交互
  2. NameNOde节点
  3. DataNode节点
  4. SecondaryNameNode节点

2．2．2 分布式计算框架MapReduce 

Hadoop MapReduce是一个软件框架，用于轻松编写应用程序，以可靠容错的方式在大型集群的商用硬件上并行处理大量数据。

MapReduce作业通常将输入数据集拆分为独立的块，这些块由Map任务以完全并行的方式处理。框架对地图的输出进行排序然后输入到Reduce任务中。

MapReduce将计算过程分为两个阶段：Map和Reduce

  1. Map阶段并行处理输入数据
  2. Reduce阶段对Map结果进行汇总

 

 2．2．3 分布式资源调度系统YARN

 

从YARN的架构图来看，它主要由ResourceManager和ApplicationMaster、NodeManager、 ApplicationMaster和Container等组件组成

ResourceManager（RM）

YARN分层结构的本质是ResourceManager。这个实体控制整个集群并管理应用程序向基础计算资源的分配。

ResourceManager 将各个资源部分（计算、内存、带宽等）精心安排给基础NodeManager（YARN 的每节点代理）。ResourceManager还与 ApplicationMaster 一起分配资源，与NodeManager 一起启动和监视它们的基础应用程序。在此上下文中，ApplicationMaster 承担了以前的 TaskTracker 的一些角色，ResourceManager 承担了 JobTracker 的角色。

  1. 处理客户端请求；
  2. 启动或监控ApplicationMaster；
  3. 监控NodeManager；
  4. 资源的分配与调度。

NodeManager（NM）

 NodeManager管理一个YARN集群中的每个节点。NodeManager提供针对集群中每个节点的服务，从监督对一个容器的终生管理到监视资源和跟踪节点健康。MRv1通过插槽管理Map和Reduce任务的执行，而NodeManager 管理抽象容器，这些容器代表着可供一个特定应用程序使用的针对每个节点的资源。YARN继续使用HDFS层。它的主要 NameNode用于元数据服务，而DataNode用于分散在一个集群中的复制存储服务。

  1. 单个节点上的资源管理；
  2. 处理来自ResourceManager上的命令；
  3. 处理来自ApplicationMaster上的命令。

ApplicationMaster（AM）  ApplicationMaster管理一个在YARN内运行的应用程序的每个实例。ApplicationMaster 负责协调来自 ResourceManager 的资源，并通过 NodeManager 监视容器的执行和资源使用（CPU、内存等的资源 分配）。请注意，尽管目前的资源更加传统（CPU 核心、内存），但未来会带来基于手头任务的新资源 类型（比如图形处理单元或专用处理设备）。从 YARN 角度讲，ApplicationMaster 是用户代码，因此 存在潜在的安全问题。YARN 假设 ApplicationMaster 存在错误或者甚至是恶意的，因此将它们当作无特权的代码对待。

  1. 负责数据的切分；
  2. 为应用程序申请资源并分配给内部的任务；
  3. 任务的监控与容错

Container

对任务运行环境进行抽象，封装CPU、内存等多维度的资源以及环境变量、启动命令等任务运行相关的信息。比如内存、CPU、磁盘、网络等，当AM向RM申请资源时，RM为AM返回的资源便是用Container表示的。YARN会为每个任务分配一个Container，且该任务只能使用该Container中描述的资源。

2.  2.  4 三大发行版本

Hadoop三大发行版本：Apache、Cloudera、Hortonworks。

Apache版本:最原始（最基础）的版本，对于入门学习最好。

Cloudera:在大型互联网企业中用的较多。

Hortonworks:文档较好。

1. Apache Hadoop

官网地址：http://hadoop.apache.org/releases.html 

下载地址：https://archive.apache.org/dist/hadoop/common/

2. Cloudera Hadoop

官网地址：https://www.cloudera.com/downloads/cdh/5-10-0.html 

下载地址：http://archive-primary.cloudera.com/cdh5/cdh/5/

（1）2008年成立的Cloudera是最早将Hadoop商用的公司，为合作伙伴提供Hadoop的商用解决方案，主要是包括支持、咨询服务、培训。

（2）2009年Hadoop的创始人Doug Cutting也加盟Cloudera公司。Cloudera产品主要为CDH，

Cloudera Manager，Cloudera Support

（3）CDH是Cloudera的Hadoop发行版，完全开源，比Apache Hadoop在兼容性，安全性，稳定性上有所增强。

（4）Cloudera Manager是集群的软件分发及管理监控平台，可以在几个小时内部署好一个Hadoop集群，并对集群的节点及服务进行实时监控。Cloudera Support即是对Hadoop的技术支持。

（5）Cloudera的标价为每年每个节点4000美元。Cloudera开发并贡献了可实时处理大数据的Impala 项目。

3. Hortonworks Hadoop

官网地址：https://hortonworks.com/products/data-center/hdp/ 

下载地址：Cloudera Enterprise Downloads

（1）2011年成立的Hortonworks是雅虎与硅谷风投公司Benchmark Capital合资组建。

（2）公司成立之初就吸纳了大约25名至30名专门研究Hadoop的雅虎工程师，上述工程师均在2005年开始协助雅虎开发Hadoop，贡献了Hadoop80%的代码。

（3）雅虎工程副总裁、雅虎Hadoop开发团队负责人Eric Baldeschwieler出任Hortonworks的首席执行官。

（4）Hortonworks的主打产品是Hortonworks Data Platform（HDP），也同样是100%开源的产品，HDP除常见的项目外还包括了Ambari，一款开源的安装和管理系统。

（5）HCatalog，一个元数据管理系统，HCatalog现已集成到Facebook开源的Hive中。Hortonworks 的Stinger开创性的极大的优化了Hive项目。Hortonworks为入门提供了一个非常好的，易于使用的沙盒。

（6）Hortonworks开发了很多增强特性并提交至核心主干，这使得Apache Hadoop能够在包括Window Server和Windows Azure在内的Microsoft Windows平台上本地运行。定价以集群为基础，每10个节点每年为12500美元。目前，HDP已被CDH收购。

Hadoop学习笔记：概念和整体架构

  • Hadoop简介和历史
  • Hadoop架构体系
  • Master和Slave节点
  • 数据分析面临的问题和Hadoop思想

 

　　由于工作原因，必须学习和深入一下Hadoop，特此记录笔记。

 

　　什么是hadoop？

　　Apache Hadoop是一款支持数据密集型分布式应用并以Apache 2.0许可协议发布的开源软件框架。它支持在商品硬件构建的大型集群上运行的应用程序。Hadoop是根据Google公司发表的MapReduce和Google档案系统的论文自行实作而成。

　　Hadoop框架透明地为应用提供可靠性和数据移动。它实现了名为MapReduce的编程范式：应用程序被分割成许多小部分，而每个部分都能在集群中的任意节点上执行或重新执行。此外，Hadoop还提供了分布式文件系统，用以存储所有计算节点的数据，这为整个集群带来了非常高的带宽。MapReduce和分布式文件系统的设计，使得整个框架能够自动处理节点故障。它使应用程序与成千上万的独立计算的电脑和PB级的数据。　　

　

　　hadoop历史

　　Hadoop由 Apache Software Foundation 于 2005 年秋天作为Lucene的子项目Nutch的一部分正式引入。它受到最先由 Google Lab 开发的 Map/Reduce 和 Google File System(GFS) 的启发。

　　2006 年 3 月份，Map/Reduce 和 Nutch Distributed File System (NDFS) 分别被纳入称为 Hadoop 的项目中。Hadoop 是最受欢迎的在 Internet 上对搜索关键字进行内容分类的工具，但它也可以解决许多要求极大伸缩性的问题。例如，如果您要 grep 一个 10TB 的巨型文件，会出现什么情况？在传统的系统上，这将需要很长的时间。但是 Hadoop 在设计时就考虑到这些问题，采用并行执行机制，因此能大大提高效率。

  • Hadoop Common：在0.20及以前的版本中，包含HDFS、MapReduce和其他项目公共内容，从0.21开始HDFS和MapReduce被分离为独立的子项目，其余内容为Hadoop Common
  • HDFS：Hadoop分布式文件系统（Distributed File System）－HDFS（Hadoop Distributed File System）
  • MapReduce：并行计算框架，0.20前使用org.apache.hadoop.mapred旧接口，0.20版本开始引入org.apache.hadoop.mapreduce的新API
  • Apache HBase：分布式NoSQL列数据库，类似谷歌公司BigTable。
  • Apache Hive：构建于hadoop之上的数据仓库，通过一种类SQL语言HiveQL为用户提供数据的归纳、查询和分析等功能。Hive最初由Facebook贡献。
  • Apache Mahout：机器学习算法软件包。
  • Apache Sqoop：结构化数据（如关系数据库）与Apache Hadoop之间的数据转换工具。
  • Apache ZooKeeper：分布式锁设施，提供类似Google Chubby的功能，由Facebook贡献。
  • Apache Avro：新的数据序列化格式与传输工具，将逐步取代Hadoop原有的IPC机制。

 

　　hadoop平台子项目

　　现在普遍认为整个Apache Hadoop“平台”包括Hadoop内核、MapReduce、Hadoop分布式文件系统（HDFS）以及一些相关项目，有Apache Hive和Apache HBase等等。Hadoop的框架最核心的设计就是：HDFS和MapReduce。HDFS为海量的数据提供了存储，则MapReduce为海量的数据提供了计算。

　　如图，最下面一层就是hadoop的核心代码，核心代码之上实现了两个最核心的功能：MapReduce和HDFS，这是hadoop的两大支柱！因为hadoop是Java写的，为了方便其他对Java语言不熟悉的程序员，在这之上又有Pig，这是一个轻量级的语言，用户可以使用Pig用于数据分析和处理，系统会自动把它转化为MapReduce程序。

　　还有一个Hive，很重要！这是一个传统的SQL到MapReduce的映射器，面向传统的数据库工程师。但是不支持全部SQL。还有一个子项目叫HBase，一个非关系数据库，NoSQL数据库，数据是列存储的，提高响应速度，减少IO量，可以做成分布式集群。

　　ZooKeeper负责服务器节点和进程间的通信，是一个协调工具，因为Hadoop的几乎每个子项目都是用动物做logo，故这个协调软件叫动物园管理员。

 

　　Hadoop架构

　　如图，两个服务器机柜，每个圆柱代表一个物理机，各个物理节点通过网线连接，连接到交换机，然后客户端通过互联网来访问。其中各个物理机上都运行着Hadoop的一些后台进程。

 

　　Namenode

　　

　　也叫名称节点，是HDFS的守护程序（一个核心程序），对整个分布式文件系统进行总控制，会纪录所有的元数据分布存储的状态信息，比如文件是如何分割成数据块的，以及这些数据块被存储到哪些节点上，还有对内存和I/O进行集中管理，用户首先会访问Namenode，通过该总控节点获取文件分布的状态信息，找到文件分布到了哪些数据节点，然后在和这些节点打交道，把文件拿到。故这是一个核心节点。

　　不过这是个单点，发生故障将使集群崩溃。

 

　　Secondary Namenode

　　

　　在Hadoop中，有一些命名不好的模块，Secondary NameNode是其中之一。从它的名字上看，它给人的感觉就像是NameNode的备份，比如有人叫它第二名称节点，仿佛给人感觉还有后续……但它实际上却不完全是。

　　最好翻译为辅助名称节点，或者检查点节点，它是监控HDFS状态的辅助后台程序，可以保存名称节点的副本，故每个集群都有一个，它与NameNode进行通讯，定期保存HDFS元数据快照。NameNode故障可以作为备用NameNode使用，目前还不能自动切换。但是功能绝不仅限于此。所谓后备也不是它的主要功能。后续详细解释。

　　

　　DataNode

　　

　　叫数据节点，每台从服务器节点都运行一个，负责把HDFS数据块读、写到本地文件系统。这三个东西组成了Hadoop平台其中一个支柱——HDFS体系。

 

　　再看另一个支柱——MapReduce，有两个后台进程。

　　JobTracker

 

　　

　　叫作业跟踪器，运行到主节点（Namenode）上的一个很重要的进程，是MapReduce体系的调度器。用于处理作业（用户提交的代码）的后台程序，决定有哪些文件参与作业的处理，然后把作业切割成为一个个的小task，并把它们分配到所需要的数据所在的子节点。

　　Hadoop的原则就是就近运行，数据和程序要在同一个物理节点里，数据在哪里，程序就跑去哪里运行。这个工作是JobTracker做的，监控task，还会重启失败的task（于不同的节点），每个集群只有唯一一个JobTracker，类似单点的nn，位于Master节点（稍后解释Master节点和slave节点）。

　　

　　TaskTracker

　　

　　叫任务跟踪器，MapReduce体系的最后一个后台进程，位于每个slave节点上，与datanode结合（代码与数据一起的原则），管理各自节点上的task（由jobtracker分配），每个节点只有一个tasktracker，但一个tasktracker可以启动多个JVM，用于并行执行map或reduce任务，它与jobtracker交互通信，可以告知jobtracker子任务完成情况。

 

　　Master与Slave

　　Master节点：运行了Namenode、或者Secondary Namenode、或者Jobtracker的节点。还有浏览器（用于观看管理界面），等其它Hadoop工具。Master不是唯一的！

　　Slave节点：运行Tasktracker、Datanode的机器。

 

　　数据分析者面临的问题和Hadoop的思想

　　目前需要我们处理的数据日趋庞大，无论是入库和查询，都出现性能瓶颈，用户的应用和分析结果呈整合趋势，对实时性和响应时间要求越来越高。使用的模型越来越复杂，计算量指数级上升。

　　故，人们希望出现一种技术或者工具来解决性能瓶颈，在可见未来不容易出现新瓶颈，并且学习成本尽量低，使得过去所拥有的技能可以平稳过渡。比如SQL、R等，还有转移平台的成本能否控制最低，比如平台软硬件成本，再开发成本，技能再培养成本，维护成本等。

　　而Hadoop就能解决如上问题——分而治之，化繁为简。

 

欢迎关注

dashuai的博客是终身学习践行者，大厂程序员，且专注于工作经验、学习笔记的分享和日常吐槽，包括但不限于互联网行业，附带分享一些PDF电子书，资料，帮忙内推，欢迎拍砖！

 

以上是关于Hadoop简介和体系架构的主要内容，如果未能解决你的问题，请参考以下文章

Hadoop--05---HBase简介

HDFS的体系架构

HBase数据库集群配置

大数据hadoop生态体系之YARN配置和使用(13)

Hbase入门笔记----架构以及应用介绍

hadoop体系结构杂谈