Hadoop:概述

Posted 李闹闹童鞋的博客

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了Hadoop:概述相关的知识,希望对你有一定的参考价值。

一、Hadoop是什么?

  Hadoop是一个由Apache基金会所开发的分布式系统基础架构。Hadoop框架最核心的设计包含两个方面,一是分布式文件系统(Hadoop Distributed File System),简称HDFS;二是分布式计算框架MapReduce。简单来说,HDFS为海量的数据提供了存储,MapReduce为海量的数据提供了计算。

  Hadoop这个名字并不是一个缩写,是其创始人Doug Cutting的孩子给一头大象取的名字,这个名字本身并不具有描述性。

二、HDFS架构

  一个分布式存储系统。

  技术分享

  1、特点

  (1)主从模式,一个主结点,多个从结点(默认三个)

  (2)Block(块)为最小的存储单位,默认为64MB。一个文件划分为多个分块(chunk)进行存储

  (3)一次写入,多次读取的访问模式

  2、各结点的作用

  (1)namenode,主结点,用来存储元数据信息,管理文件系统的命名空间。

  (2)datanode,从结点,存储数据信息;并定期向namenode发送它们所储存块的列表。

  (3)Secondary namenode,帮助NameNode合并编辑日志,减少NameNode的启动时间

    namenode和datanode不难理解,但是Secondary namenode的作用看到过多种说法,有一种如下:

    fsimage是namenode启动时对整个系统的快照

    edit log是namenode启动后,对文件系统的改动序列,只有在namenode再次启动时,这些edit log才会合并到fsimage中

    所以,如果edit log过于长,namenode启动就会非常慢

    secondary namenode会定时去namenode取edit log,并更新到自己的fsimage上,之后复制到namenode中,namenode启动时直接用这个快照。

    另一方面,因为secondary namenode的工作内容,当namenode出现故障时,也可以起到一定的作用

  3、工作流程

    简单理解的话,对于读数据来说,如上图所示:

    1)客户端发送请求,从主结点返回数据存储的位置信息;

    2)客户端根据具体的位置信息从datanode获取数据。

    但是,真实过程要复杂的多

  (1)客户端读取HDFS中的数据

    1)客户端对DistributedFileSystem对象(分布式文件系统)调用open()方法打开文件系统

    2)DistributedFileSystem对namenode创建一个RPC调用,请求文件地址

     namenode返回文件各block所在的datanode地址(返回所有副本的地址,但是会按距离排序)

     DistributedFileSystem返回一个FSDataInputStream对象(文件定位输入流)给客户端

       FSDataInputStream封装了DFSInputStream对象(管理结点的I/O)

    3)客户端对上述输入流调用read方法

    4)DFSInputStream连接存储着文件起始块的距离最近的datanode,将数据从datanode返回到客户端

      传输完毕,DFSInputStream会关闭与datanode的连接

    5)对下一个block执行步骤4的操作

    6)读取完毕,客户端对FSDataInputStream调用close()方法

  (2)客户端将文件写入HDFS

    下面的过程,首先创建一个新文件,并把数据写入该文件,最后关闭文件

    1)客户端对DistributedFileSytem对象调用create()方法创建文件

    2)DistributedFileSystem对namenode创建一个RPC调用,请求在文件系统的命名空间中创建一个新文件

      namenode执行各种不同的检查确认这个文件不存在,以及客户端有创建这个文件的权限

      如果检查不通过,文件创建失败并向客户端返回一个IOException异常

      若通过,namenode增加一条创建新文件的记录,

      DistributedFileSystem向客户端返回一个FSDataOutputStream对象

      FSDataOutputStream封装了DFSOutputStream对象(管理结点的I/O)

    3)客户端写入数据

      DFSOutputStream将数据分成一个个的数据块,并写入内部队列,称为“数据队列”

      DataStreamer处理数据队列,根据datanode列表要求namenode分配适合的新块来存储数据备份

      一组datanode构成一个管线,假设复本为3,则管线中有3个结点

    4)DataStreamer将数据块流式传输到管线中的第1个datanode,

      该datanode存储数据并将它发送到第二个datanode,第二个到第三个同理

      DFSOutputStream同时也维护着一个“确认队列”,等待datanode的确认回执

    5)当收到确认回执时,才会删除队列中的数据信息

    6)写入完毕,客户端对FSDataOutputStream调用close()方法

    7)DistributedFileSystem向namenode发送文件写入完成信号

  4、优点:

  (1)容错性:数据多复本存储,如果datanode结点发生故障,会自动备份数据

  (2)最短路径读取:namenode可以出最佳的路径,返回给文件流进行数据读取

  (3)可扩展性:如果新增机器,namenode会自动开始存储数据到该机器。

  4、缺陷

  (1)单点故障问题:若namenode结点出现故障,整个HDFS将会失效

  (2)安全问题:Client可以绕过NameNode直接对DataNode进行读写操作

三、MapReduce

  一个基于分布式存储系统的分布式计算框架。

  1、MapReduce程序执行步骤

    技术分享

  (1)输入

  (2)split过程:切分输入数据

  (3)map过程(映射):将数据解析成key/value对

  (4)shuffle&sort过程(分组排序):根据key值对键值对进行分组,将具有相同key的数据分成一组,每一组发给一个reduce处理

  (5)Reduce过程(规约):对数据进行规约处理

  (6)输出

  2、MapReduce任务的执行流程

  技术分享

  (1)用户启动程序:用户通过Hadoop命令启动运行MapReduce程序

  (2)JobClient获取作业ID:JobClient联系JobTracker获取一个作业ID

  (3)JobClient初始化准备:

    ① 将代码、配置、切片信息等复制到HDFS

    ② 根据输入数据路径、Block大小以及设定的分片大小对数据进行切割划分

    ③ 对输出目录进行检查

  (4)JobClient提交作业:JobClient将作业ID和对应的资源信息提交各JobTracker

  (5)JobTracer初始化作业:JobTracker将用户提交的信息封装到对象用于进行跟踪,同时将作业加入到作业调度器

  (6)JobTracker获取分片信息:JobTracker获取每个分片的位置、边界等信息

  (7)TaskerTracker获取任务:TaskTracker通过心跳机制从JobTracker获取任务信息(任务ID、数据位置)

  (8)TaskerTracker获取数据:TaskerTracker从HDFS中读取数据,并复制到自己的机器上

  (9)TaskerTracker运行任务:TaskerTracker启动子JVM运行任务

  (10)具体的Map或Reduce执行:在子JVM中,Map或者Reduce任务进行执行。

      执行完后,通知TaskTracker,TaskTracker再通知给JobTracker,再通知给客户端

  备注:

  (1)Job:作业,通常整个要处理的工作内容称为作业,一个Job包含多个Task

  (2)Task:任务,一个作业划分为多个任务进行处理

  (3)心跳机制:TaskTracker会以一定的频率向JobTracker进行信息反馈,报告当前所处的状态等等。

四、后续内容

  1、Hadoop伪分布式环境搭建

  2、MapReduce简单应用程序(Java/Python)和相关Hadoop命令

  3、Hadoop生态圈简单介绍

以上是关于Hadoop:概述的主要内容,如果未能解决你的问题,请参考以下文章

2.1 Apache HadoopHDFS - Apache Hadoop概述

Hadoop概述

Hadoop:概述

Hadoop基础之《—Hadoop概述》

02 Hadoop概述

02 Hadoop概述