Hadoop HDFS 实现原理图文详解

Posted 东海陈光剑

tags:

篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了Hadoop HDFS 实现原理图文详解相关的知识，希望对你有一定的参考价值。

一、HDFS体系结构

1.1 HDFS 简介

Hadoop分布式文件系统 (HDFS) 是运行在通用硬件(commodity hardware)上的分布式文件系统（Distributed File System）。

它和现有的分布式文件系统有很多共同点。但同时，它和其他的分布式文件系统的区别也是很明显的。

HDFS是一个高度容错性的系统，适合部署在廉价的机器上。

HDFS能提供高吞吐量的数据访问，非常适合大规模数据集上的应用。

HDFS放宽了一部分POSIX约束，来实现流式读取文件系统数据的目的。

HDFS在最开始是作为Apache Nutch 搜索引擎项目的基础架构而开发的。

HDFS是Apache Hadoop Core项目的一部分。

小结：HDFS有着高容错性（fault-tolerant）的特点，并且设计用来部署在低廉的（low-cost）硬件上。而且它提供高吞吐量（high throughput）来访问应用程序的数据，适合那些有着超大数据集（large data set）的应用程序。HDFS放宽了（relax）POSIX的要求（requirements）这样可以实现流的形式访问（streaming access）文件系统中的数据。

1.2 HDFS设计原则

HDFS设计之初就非常明确其应用场景，适用于什么类型的应用，不适用什么应用，有一个相对明确的指导原则。

1.2.1 设计目标

存储非常大的文件：这里非常大指的是几百M、G、或者TB级别。实际应用中已有很多集群存储的数据达到PB级别。根据Hadoop官网，Yahoo！的Hadoop集群约有10万颗CPU，运行在4万个机器节点上。更多世界上的Hadoop集群使用情况，参考Hadoop官网.

采用流式的数据访问方式: HDFS基于这样的一个假设：最有效的数据处理模式是一次写入、多次读取数据集经常从数据源生成或者拷贝一次，然后在其上做很多分析工作

分析工作经常读取其中的大部分数据，即使不是全部。因此读取整个数据集所需时间比读取第一条记录的延时更重要。

运行于商业硬件上: Hadoop不需要特别贵的、reliable的（可靠的）机器，可运行于普通商用机器（可以从多家供应商采购） ，商用机器不代表低端机器。在集群中（尤其是大的集群），节点失败率是比较高的HDFS的目标是确保集群在节点失败的时候不会让用户感觉到明显的中断。

1.2.2 HDFS不适合的应用类型

有些场景不适合使用HDFS来存储数据。下面列举几个：

1）低延时的数据访问

对延时要求在毫秒级别的应用，不适合采用HDFS。HDFS是为高吞吐数据传输设计的,因此可能牺牲延时HBase更适合低延时的数据访问。

2）大量小文件

文件的元数据（如目录结构，文件block的节点列表，block-node mapping）保存在NameNode的内存中， 整个文件系统的文件数量会受限于NameNode的内存大小。

经验而言，一个文件/目录/文件块一般占有150字节的元数据内存空间。如果有100万个文件，每个文件占用1个文件块，则需要大约300M的内存。因此十亿级别的文件数量在现有商用机器上难以支持。

3）多方读写，需要任意的文件修改

HDFS采用追加（append-only）的方式写入数据。不支持文件任意offset的修改。不支持多个写入器（writer）。

1.3. HDFS核心概念

1.3.1 Blocks

物理磁盘中有块的概念，磁盘的物理Block是磁盘操作最小的单元，读写操作均以Block为最小单元，一般为512 Byte。文件系统在物理Block之上抽象了另一层概念，文件系统Block物理磁盘Block的整数倍。通常为几KB。

Hadoop提供的df、fsck这类运维工具都是在文件系统的Block级别上进行操作。

HDFS的Block块比一般单机文件系统大得多，默认为128M。

HDFS的文件被拆分成block-sized的chunk，chunk作为独立单元存储。比Block小的文件不会占用整个Block，只会占据实际大小。例如， 如果一个文件大小为1M，则在HDFS中只会占用1M的空间，而不是128M。

HDFS的Block为什么这么大？

是为了最小化查找（seek）时间，控制定位文件与传输文件所用的时间比例。假设定位到Block所需的时间为10ms，磁盘传输速度为100M/s。如果要将定位到Block所用时间占传输时间的比例控制1%，则Block大小需要约100M。

但是如果Block设置过大，在MapReduce任务中，Map或者Reduce任务的个数 如果小于集群机器数量，会使得作业运行效率很低。

Block抽象的好处

block的拆分使得单个文件大小可以大于整个磁盘的容量，构成文件的Block可以分布在整个集群， 理论上，单个文件可以占据集群中所有机器的磁盘。

Block的抽象也简化了存储系统，对于Block，无需关注其权限，所有者等内容（这些内容都在文件级别上进行控制）。

Block作为容错和高可用机制中的副本单元，即以Block为单位进行复制。

1.3.2 Namenode & Datanode

整个HDFS集群由Namenode和Datanode构成master-worker（主从）模式。Namenode负责构建命名空间，管理文件的元数据等，而Datanode负责实际存储数据，负责读写工作。

Namenode

Namenode存放文件系统树及所有文件、目录的元数据。元数据持久化为2种形式：

namespcae image

edit log

但是持久化数据中不包括Block所在的节点列表，及文件的Block分布在集群中的哪些节点上，这些信息是在系统重启的时候重新构建（通过Datanode汇报的Block信息）。

在HDFS中，Namenode可能成为集群的单点故障，Namenode不可用时，整个文件系统是不可用的。HDFS针对单点故障提供了2种解决机制：

1）备份持久化元数据

将文件系统的元数据同时写到多个文件系统， 例如同时将元数据写到本地文件系统及NFS。这些备份操作都是同步的、原子的。

2）Secondary Namenode

Secondary节点定期合并主Namenode的namespace image和edit log， 避免edit log过大，通过创建检查点checkpoint来合并。它会维护一个合并后的namespace image副本， 可用于在Namenode完全崩溃时恢复数据。

1.4 主从架构

HDFS采用 master/slave架构。

一个HDFS集群是由一个Namenode和一定数目的Datanodes组成。

Namenode是一个中心服务器，负责管理文件系统的名字空间(namespace)以及客户端对文件的访问。

集群中的Datanode一般是一个节点一个，负责管理它所在节点上的存储。HDFS暴露了文件系统的名字空间，用户能够以文件的形式在上面存储数据。

从内部看，一个文件其实被分成一个或多个数据块，这些块存储在一组Datanode上。Namenode执行文件系统的名字空间操作，比如打开、关闭、重命名文件或目录。它也负责确定数据块到具体Datanode节点的映射。Datanode负责处理文件系统客户端的读写请求。在Namenode的统一调度下进行数据块的创建、删除和复制。


1、数据块Block

最小存储单元，默认128MB，适合大文件存储，减少寻址和内存开销。

2、NameNode

文件系统命名空间，含目录、文件的数据块索引，索引存储在内存中，文件越多占用内存越大。同时存储命名空间镜像文件（FsImage）与编辑日志文件（EditLog），文件的变更先写入日志文件中。Hadoop 2.X 版本引入HA功能，通常通过Journal Nodes保持多主间EditLog同步。再加入ZKFailoverController进行主备切换操作（也可人工切换）。

3、DataNode

数据存储节点，执行数据块的创建、删除、复制等操作。

4、Secondary NameNode

由于NameNode 合并 EditLog 和 FsImage 非常耗时，特别在大型集群中。故增加一个 Secondary NameNode 负责定时从 NameNode获取（HTTP）EditLog 并且合并到 FsImage中，耗时的合并工作完成后将新的FsImage传回 namenode。


1.5. hdfs 元数据的持久化

HDFS的命名空间是由名字节点来存储的。

1.5.1. EditLog

名字节点使用叫做 EditLog 的事务日志来持久记录每一个对文件系统元数据的改变，如在HDFS中创建一个新的文件，名字节点将会在EditLog中插入一条记录来记录这个改变。

类似地，改变文件的复制因子也会向EditLog中插入一条记录。名字节点在本地文件系统中用一个文件来存储这个EditLog。

1.5.2. FsImage

整个文件系统命名空间，包括文件块的映射表和文件系统的配置都存在一个叫 FsImage 的文件中，FsImage 也存放在名字节点的本地文件系统中。

FsImage 和 Editlog是HDFS的核心数据结构。这些文件的损坏会导致整个集群的失效。因此，名字节点可以配置成支持多个 FsImage 和 EditLog 的副本。任何FsImage和EditLog的更新都会同步到每一份副本中。

1.6 数据复制

HDFS被设计成能够在一个大集群中跨机器可靠地存储超大文件。它将每个文件存储成一系列的数据块，除了最后一个，所有的数据块都是同样大小的。为了容错，文件的所有数据块都会有副本。每个文件的数据块大小和副本系数都是可配置的。应用程序可以指定某个文件的副本数目。副本系数可以在文件创建的时候指定，也可以在之后改变。

HDFS中的文件都是一次性写入的，并且严格要求在任何时候只能有一个写入者。

Namenode全权管理数据块的复制，它周期性地从集群中的每个Datanode接收心跳信号和块状态报告(Blockreport)。接收到心跳信号意味着该Datanode节点工作正常。块状态报告包含了一个该Datanode上所有数据块的列表。


HDFS采用一种称为机架感知(rack-aware)的策略来改进数据的可靠性、可用性和网络带宽的利用率。

大型HDFS实例一般运行在跨越多个机架的计算机组成的集群上，不同机架上的两台机器之间的通讯需要经过交换机。在大多数情况下，同一个机架内的两台机器间的带宽会比不同机架的两台机器间的带宽大。

通过一个机架感知的过程，Namenode可以确定每个Datanode所属的机架id。一个简单但没有优化的策略就是将副本存放在不同的机架上。这样可以有效防止当整个机架失效时数据的丢失，并且允许读数据的时候充分利用多个机架的带宽。这种策略设置可以将副本均匀分布在集群中，有利于当组件失效情况下的负载均衡。但是，因为这种策略的一个写操作需要传输数据块到多个机架，这增加了写的代价。

在大多数情况下，副本系数是3，HDFS的存放策略是将一个副本存放在本地机架的节点上，一个副本放在同一机架的另一个节点上，最后一个副本放在不同机架的节点上。这种策略减少了机架间的数据传输，这就提高了写操作的效率。机架的错误远远比节点的错误少，所以这个策略不会影响到数据的可靠性和可用性。于此同时，因为数据块只放在两个（不是三个）不同的机架上，所以此策略减少了读取数据时需要的网络传输总带宽。在这种策略下，副本并不是均匀分布在不同的机架上。三分之一的副本在一个节点上，三分之二的副本在一个机架上，其他副本均匀分布在剩下的机架中，这一策略在不损害数据可靠性和读取性能的情况下改进了写的性能。

参考：http://hadoop.apache.org/docs/current/hadoop-project-dist/hadoop-hdfs/HdfsDesign.html

二、HDFS主要流程

 2.1 客户端的读取


1、调用DistributedFileSystem.open打开文件（底层调用DFSClient.open）并创建HdfsDataInputStream。

2、通过调用DFSClient.getBlockLocations获取数据块所在的datanode节点列表，根据排序规则选择一个datanode建立连接获取数据块，当此数据块读取完毕后，再次向namenode获取下一个数据块。依次循环。

2.2 客户端写入流程


1、通过调用DistributedFileSystem.create在底层调用DFSClient.create发送通知namenode创建文件。

2、获取输出流后就可以调用DFSOutputStream写数据，空文件时就会调用Clientprotocol.addBlock向Namenode申请一个数据块并返回LocatedBlock，此对象包含该数据块的所有节点信息，后续即可往其中一节点write数据。

2.3 HA切换流程


Hadoop 2.X之前版本NN存在单点故障，HA功能提供一个active NN与一个standby NN，命名空间实时同步。Active NN修改命名空间时同时通知多数的Quorum Journal Nodes（JNS），standby NN监听JNS中的editlog变化，并与自身的命名空间合并，当发生切换时，需要等待standby合并JNS上的所有editlog后才会进行切换。

ZKFailoverController会实时监控NN的状态，如果active NN处于不可用状态则进行自动主备切换，不需要人工干预，当然管理员也可用DFSHAAdmin命令进行手工切换。

三、NameNode

3.1 文件目录树

    HDFS命名空间在内存中以树结构存储，目录与文件抽象为INode节点，目录为INodeDirectory，文件为INodeFile。目录有List<INode> children存储子目录或文件（内部使用二分法做检索），HDFS命名空间存储在本地系统FsImage文件中，启动时加载，与此同时NN会定期合并fsimage与editlog，editlog操作类为FSEditLog。

    INodeFile主要成员变量：

        private long header = 0L;  # 文件头信息

        private BlockInfoContiguous[] blocks;  # 数据块与数据节点关系

3.2 数据块管理

    1、NameNode启动时从fsimage加载文件与数据块之前的关系，数据块存储在哪些节点上具体是由datanode启动时向NN上报数据块信息时才能构建。

    2、BlockMap在NN中存储数据块与节点的关系，该关系则由DN上报时更新。

3.3 数据节点管理

    1、添加和撤销DN：HDFS提供的dfs.hosts可配置include和exclude，如果节点下线则配置exclude并执行dfsadmin -refreshNodes后NN开始进行撤销，下线的节点数据会复制到其他节点上，此时DN则处于正在被撤销状态，复制完毕后DN状态则变成已撤销。

    2、DN启动需要向NN握手、注册于上报数据块，并定期发送心跳包。

3.4 NN的启动与停止

    1、NN启动由NameNode类的main方法执行，并调用createNameNode方法进行初始化。调用FSNamesystem.loadFromDisk进行fsimage与editlog。

    2、NN的停止则是通过启动时注册JVM的ShutdownHook，当JVM退出时调用，并输出一些退出日志。

四、数据节点DN


HDFS 2.X DN使用Federation架构，可配置多个命名空间，每个命名空间在DN中对应一个池。DN的启动由DataNode类的main方法执行。

1、DataBlockScanner扫描数据块并检查校检和是否匹配。

2、DirectoryScanner定时扫描内存元数据与磁盘是否有差异，如有则更新内存。

3、IPCServer为RPC服务端，接收Client、NN、DN的RPC请求。

4、DataXceiverServer用于流式数据传输。

4.1 DN磁盘存储与读写

   1、DFSStorage管理数据块，管理磁盘存储目录(dfs.data.dir)，dfs.data.dir可定义多个存储目录，不同目录磁盘异构。

    2、DataTransferProtocol定义了基于TCP流的数据访问接口，包含Sender和Receiver，流程如下图：


五、HDFS常用工具

5.1 hadoop 命令手册

所有的hadoop命令均由bin/hadoop脚本引发。

不指定参数运行hadoop脚本会打印所有命令的描述。

用法：

hadoop [--config confdir] [COMMAND] [GENERIC_OPTIONS] [COMMAND_OPTIONS]

Hadoop有一个选项解析框架用于解析一般的选项和运行类。

命令选项描述

--config confdir覆盖缺省配置目录。缺省是$HADOOP_HOME/conf。

GENERIC_OPTIONS多个命令都支持的通用选项。

COMMAND

命令选项S

各种各样的命令和它们的选项会在下面提到。这些命令被分为用户命令管理命令两组。

常规选项

下面的选项被dfsadmin,fs,fsck和job支持。应用程序要实现Tool来支持常规选项。

GENERIC_OPTION描述

-conf <configuration file>指定应用程序的配置文件。

-D <property=value>为指定property指定值value。

-fs <local|namenode:port>指定namenode。

-jt 指定job tracker。只适用于job。

-files <逗号分隔的文件列表>指定要拷贝到map reduce集群的文件的逗号分隔的列表。只适用于job。

-libjars <逗号分隔的jar列表>指定要包含到classpath中的jar文件的逗号分隔的列表。只适用于job。

-archives <逗号分隔的archive列表>指定要被解压到计算节点上的档案文件的逗号分割的列表。只适用于job。

用户命令

hadoop集群用户的常用命令。

archive

创建一个hadoop档案文件。参考Hadoop Archives.

用法：hadoop archive -archiveName NAME <src>* <dest>

命令选项描述

-archiveName NAME要创建的档案的名字。

src文件系统的路径名，和通常含正则表达的一样。

dest保存档案文件的目标目录。

distcp

递归地拷贝文件或目录。参考DistCp指南以获取等多信息。

用法：hadoop distcp <srcurl> <desturl>

命令选项描述

srcurl 源Url

desturl 目标Url

fs

用法：hadoop fs [GENERIC_OPTIONS] [COMMAND_OPTIONS]

运行一个常规的文件系统客户端。

各种命令选项可以参考HDFS Shell指南。

fsck

运行HDFS文件系统检查工具。参考Fsck了解更多。

用法：hadoop fsck [GENERIC_OPTIONS] [-move | -delete | -openforwrite] [-files [-blocks [-locations | -racks]]]

命令选项描述

<path>检查的起始目录。

-move移动受损文件到/lost+found

-delete删除受损文件。

-openforwrite打印出写打开的文件。

-files打印出正被检查的文件。

-blocks打印出块信息报告。

-locations打印出每个块的位置信息。

-racks打印出data-node的网络拓扑结构。

jar

运行jar文件。用户可以把他们的Map Reduce代码捆绑到jar文件中，使用这个命令执行。

用法：hadoop jar <jar> [mainClass] args...

streaming作业是通过这个命令执行的。参考Streaming examples中的例子。

Word count例子也是通过jar命令运行的。参考Wordcount example。

job

用于和Map Reduce作业交互和命令。

用法：

hadoop job [GENERIC_OPTIONS] [-submit ] | [-status ] | [-counter ] | [-kill ] | [-events <#-of-events>] | [-history [all] ] | [-list [all]] | [-kill-task ] | [-fail-task ]

命令选项描述

-submit <job-file>提交作业

-status <job-id>打印map和reduce完成百分比和所有计数器。

-counter <job-id> <group-name> <counter-name>打印计数器的值。

-kill <job-id>杀死指定作业。

-events <job-id> <from-event-#> <#-of-events>打印给定范围内jobtracker接收到的事件细节。

-history [all] <jobOutputDir>-history <jobOutputDir> 打印作业的细节、失败及被杀死原因的细节。更多的关于一个作业的细节比如成功的任务，做过的任务尝试等信息可以通过指定[all]选项查看。

-list [all]-list all显示所有作业。-list只显示将要完成的作业。

-kill-task <task-id>杀死任务。被杀死的任务不会不利于失败尝试。

-fail-task <task-id>使任务失败。被失败的任务会对失败尝试不利。

pipes

运行pipes作业。

用法：hadoop pipes [-conf <path>] [-jobconf <key=value>, <key=value>, ...] [-input <path>] [-output <path>] [-jar <jar file>] [-inputformat <class>] [-map <class>] [-partitioner <class>] [-reduce <class>] [-writer <class>] [-program <executable>] [-reduces <num>]

命令选项描述

-conf <path>作业的配置

-jobconf <key=value>, <key=value>, ...增加/覆盖作业的配置项

-input <path>输入目录

-output <path>输出目录

-jar <jar file>Jar文件名

-inputformat <class>InputFormat类

-map <class>Java Map类

-partitioner <class>Java Partitioner

-reduce <class>Java Reduce类

-writer <class>Java RecordWriter

-program <executable>可执行程序的URI

-reduces <num>reduce个数

version

打印版本信息。

用法：hadoop version

CLASSNAME

hadoop 脚本可用于调调用任何类。

用法：hadoop CLASSNAME

运行名字为CLASSNAME的类。

管理命令

hadoop集群管理员常用的命令。

balancer

运行集群平衡工具。管理员可以简单的按Ctrl-C来停止平衡过程。参考Rebalancer了解更多。

用法：hadoop balancer [-threshold <threshold>]

命令选项描述

-threshold <threshold>磁盘容量的百分比。这会覆盖缺省的阀值。

daemonlog

获取或设置每个守护进程的日志级别。

用法：hadoop daemonlog -getlevel <host:port> <name>

用法：hadoop daemonlog -setlevel <host:port> <name> <level>

命令选项描述

-getlevel <host:port> <name>打印运行在<host:port>的守护进程的日志级别。这个命令内部会连接http://<host:port>/logLevel?log=<name>

-setlevel <host:port> <name> <level>设置运行在<host:port>的守护进程的日志级别。这个命令内部会连接http://<host:port>/logLevel?log=<name>

datanode

运行一个HDFS的datanode。

用法：hadoop datanode [-rollback]

命令选项描述

-rollback将datanode回滚到前一个版本。这需要在停止datanode，分发老的hadoop版本之后使用。

dfsadmin

运行一个HDFS的dfsadmin客户端。

用法：hadoop dfsadmin [GENERIC_OPTIONS] [-report] [-safemode enter | leave | get | wait] [-refreshNodes] [-finalizeUpgrade] [-upgradeProgress status | details | force] [-metasave filename] [-setQuota ...] [-clrQuota ...] [-help [cmd]]

命令选项描述

-report报告文件系统的基本信息和统计信息。

-safemode enter | leave | get | wait安全模式维护命令。安全模式是Namenode的一个状态，这种状态下，Namenode

1. 不接受对名字空间的更改(只读)

2. 不复制或删除块

Namenode会在启动时自动进入安全模式，当配置的块最小百分比数满足最小的副本数条件时，会自动离开安全模式。安全模式可以手动进入，但是这样的话也必须手动关闭安全模式。

-refreshNodes重新读取hosts和exclude文件，更新允许连到Namenode的或那些需要退出或入编的Datanode的集合。

-finalizeUpgrade终结HDFS的升级操作。Datanode删除前一个版本的工作目录，之后Namenode也这样做。这个操作完结整个升级过程。

-upgradeProgress status | details | force请求当前系统的升级状态，状态的细节，或者强制升级操作进行。

-metasave filename保存Namenode的主要数据结构到hadoop.log.dir属性指定的目录下的文件。对于下面的每一项，中都会一行内容与之对应

1. Namenode收到的Datanode的心跳信号

2. 等待被复制的块

3. 正在被复制的块

4. 等待被删除的块

-setQuota ...为每个目录 设定配额。目录配额是一个长整型整数，强制限定了目录树下的名字个数。

命令会在这个目录上工作良好，以下情况会报错：

1. N不是一个正整数，或者

2. 用户不是管理员，或者

3. 这个目录不存在或是文件，或者

4. 目录会马上超出新设定的配额。

-clrQuota ...为每一个目录清除配额设定。

命令会在这个目录上工作良好，以下情况会报错：

1. 这个目录不存在或是文件，或者

2. 用户不是管理员。

如果目录原来没有配额不会报错。

-help [cmd]显示给定命令的帮助信息，如果没有给定命令，则显示所有命令的帮助信息。

jobtracker

运行MapReduce job Tracker节点。

用法：hadoop jobtracker

namenode

运行namenode。有关升级，回滚，升级终结的更多信息请参考升级和回滚。

用法：hadoop namenode [-format] | [-upgrade] | [-rollback] | [-finalize] | [-importCheckpoint]

命令选项描述

-format格式化namenode。它启动namenode，格式化namenode，之后关闭namenode。

-upgrade分发新版本的hadoop后，namenode应以upgrade选项启动。

-rollback将namenode回滚到前一版本。这个选项要在停止集群，分发老的hadoop版本后使用。

-finalizefinalize会删除文件系统的前一状态。最近的升级会被持久化，rollback选项将再不可用，升级终结操作之后，它会停掉namenode。

-importCheckpoint从检查点目录装载镜像并保存到当前检查点目录，检查点目录由fs.checkpoint.dir指定。

secondarynamenode

运行HDFS的secondary namenode。参考Secondary Namenode了解更多。

用法：hadoop secondarynamenode [-checkpoint [force]] | [-geteditsize]

命令选项描述

-checkpoint [force]如果EditLog的大小 >= fs.checkpoint.size，启动Secondary namenode的检查点过程。如果使用了-force，将不考虑EditLog的大小。

-geteditsize打印EditLog大小。

tasktracker

运行MapReduce的task Tracker节点。

用法：hadoop tasktracker

5.2 FsShell :  bin/hadoop fs <args>

调用文件系统(FS)Shell命令应使用 

bin/hadoop fs <args>

的形式。所有的的FS shell命令使用URI路径作为参数。

URI格式是：

scheme://authority/path

对HDFS文件系统，scheme是hdfs，对本地文件系统，scheme是file。其中scheme和authority参数都是可选的，如果未加指定，就会使用配置中指定的默认scheme。

一个HDFS文件或目录比如/parent/child可以表示成：

hdfs://namenode:namenodeport/parent/child

或者更简单的：

/parent/child

（假设你配置文件中的默认值是namenode:namenodeport）。

大多数FS Shell命令的行为和对应的Unix Shell命令类似，不同之处会在下面介绍各命令使用详情时指出。出错信息会输出到stderr，其他信息输出到stdout。

cat

使用方法：

hadoop fs -cat URI [URI …]

将路径指定文件的内容输出到stdout。

示例：

hadoop fs -cat hdfs://host1:port1/file1 hdfs://host2:port2/file2

hadoop fs -cat file:///file3 /user/hadoop/file4

返回值：

成功返回0，失败返回-1。

chgrp

使用方法：hadoop fs -chgrp [-R] GROUP URI [URI …] Change group association of files. With -R, make the change recursively through the directory structure. The user must be the owner of files, or else a super-user. Additional information is in the Permissions User Guide. 

改变文件所属的组。使用-R将使改变在目录结构下递归进行。命令的使用者必须是文件的所有者或者超级用户。更多的信息请参见HDFS权限用户指南。

chmod

使用方法：hadoop fs -chmod [-R] <MODE[,MODE]... | OCTALMODE> URI [URI …]

改变文件的权限。使用-R将使改变在目录结构下递归进行。命令的使用者必须是文件的所有者或者超级用户。更多的信息请参见HDFS权限用户指南。

chown

使用方法：hadoop fs -chown [-R] [OWNER][:[GROUP]] URI [URI ]

改变文件的拥有者。使用-R将使改变在目录结构下递归进行。命令的使用者必须是超级用户。更多的信息请参见HDFS权限用户指南。

copyFromLocal

使用方法：hadoop fs -copyFromLocal <localsrc> URI

除了限定源路径是一个本地文件外，和put命令相似。

copyToLocal

使用方法：hadoop fs -copyToLocal [-ignorecrc] [-crc] URI <localdst>

除了限定目标路径是一个本地文件外，和get命令类似。

cp

使用方法：hadoop fs -cp URI [URI …] <dest>

将文件从源路径复制到目标路径。这个命令允许有多个源路径，此时目标路径必须是一个目录。

示例：

hadoop fs -cp /user/hadoop/file1 /user/hadoop/file2

hadoop fs -cp /user/hadoop/file1 /user/hadoop/file2 /user/hadoop/dir

返回值：

成功返回0，失败返回-1。

du

使用方法：hadoop fs -du URI [URI …]

显示目录中所有文件的大小，或者当只指定一个文件时，显示此文件的大小。

示例：

hadoop fs -du /user/hadoop/dir1 /user/hadoop/file1 hdfs://host:port/user/hadoop/dir1

返回值：

成功返回0，失败返回-1。

dus

使用方法：hadoop fs -dus <args>

显示文件的大小。

expunge

使用方法：hadoop fs -expunge

清空回收站。请参考HDFS设计文档以获取更多关于回收站特性的信息。

get

使用方法：hadoop fs -get [-ignorecrc] [-crc] <src> <localdst>

复制文件到本地文件系统。可用-ignorecrc选项复制CRC校验失败的文件。使用-crc选项复制文件以及CRC信息。

示例：

hadoop fs -get /user/hadoop/file localfile

hadoop fs -get hdfs://host:port/user/hadoop/file localfile

返回值：

成功返回0，失败返回-1。

getmerge

使用方法：hadoop fs -getmerge <src> <localdst> [addnl]

接受一个源目录和一个目标文件作为输入，并且将源目录中所有的文件连接成本地目标文件。addnl是可选的，用于指定在每个文件结尾添加一个换行符。

ls

使用方法：hadoop fs -ls <args>

如果是文件，则按照如下格式返回文件信息：

文件名 <副本数> 文件大小 修改日期 修改时间 权限 用户ID 组ID

如果是目录，则返回它直接子文件的一个列表，就像在Unix中一样。目录返回列表的信息如下：

目录名 <dir> 修改日期 修改时间 权限 用户ID 组ID

示例：

hadoop fs -ls /user/hadoop/file1 /user/hadoop/file2 hdfs://host:port/user/hadoop/dir1 /nonexistentfile

返回值：

成功返回0，失败返回-1。

lsr

使用方法：hadoop fs -lsr <args>

ls命令的递归版本。类似于Unix中的ls -R。

mkdir

使用方法：hadoop fs -mkdir <paths>

接受路径指定的uri作为参数，创建这些目录。其行为类似于Unix的mkdir -p，它会创建路径中的各级父目录。

示例：

hadoop fs -mkdir /user/hadoop/dir1 /user/hadoop/dir2

hadoop fs -mkdir hdfs://host1:port1/user/hadoop/dir hdfs://host2:port2/user/hadoop/dir

返回值：

成功返回0，失败返回-1。

moveFromLocal

使用方法：dfs -moveFromLocal <src> <dst>

输出一个”not implemented“信息。

mv

使用方法：hadoop fs -mv URI [URI …] <dest>

将文件从源路径移动到目标路径。这个命令允许有多个源路径，此时目标路径必须是一个目录。不允许在不同的文件系统间移动文件。

示例：

hadoop fs -mv /user/hadoop/file1 /user/hadoop/file2

hadoop fs -mv hdfs://host:port/file1 hdfs://host:port/file2 hdfs://host:port/file3 hdfs://host:port/dir1

返回值：

成功返回0，失败返回-1。

put

使用方法：hadoop fs -put <localsrc> ... <dst>

从本地文件系统中复制单个或多个源路径到目标文件系统。也支持从标准输入中读取输入写入目标文件系统。

hadoop fs -put localfile /user/hadoop/hadoopfile

hadoop fs -put localfile1 localfile2 /user/hadoop/hadoopdir

hadoop fs -put localfile hdfs://host:port/hadoop/hadoopfile

hadoop fs -put - hdfs://host:port/hadoop/hadoopfile

从标准输入中读取输入。

返回值：

成功返回0，失败返回-1。

rm

使用方法：hadoop fs -rm URI [URI …]

删除指定的文件。只删除非空目录和文件。请参考rmr命令了解递归删除。

示例：

hadoop fs -rm hdfs://host:port/file /user/hadoop/emptydir

返回值：

成功返回0，失败返回-1。

rmr

使用方法：hadoop fs -rmr URI [URI …]

delete的递归版本。

示例：

hadoop fs -rmr /user/hadoop/dir

hadoop fs -rmr hdfs://host:port/user/hadoop/dir

返回值：

成功返回0，失败返回-1。

setrep

使用方法：hadoop fs -setrep [-R] <path>

改变一个文件的副本系数。-R选项用于递归改变目录下所有文件的副本系数。

示例：

hadoop fs -setrep -w 3 -R /user/hadoop/dir1

返回值：

成功返回0，失败返回-1。

stat

使用方法：hadoop fs -stat URI [URI …]

返回指定路径的统计信息。

示例：

hadoop fs -stat path

返回值：

成功返回0，失败返回-1。

tail

使用方法：hadoop fs -tail [-f] URI

将文件尾部1K字节的内容输出到stdout。支持-f选项，行为和Unix中一致。

示例：

hadoop fs -tail pathname

返回值：

成功返回0，失败返回-1。

test

使用方法：hadoop fs -test -[ezd] URI

选项：

-e 检查文件是否存在。如果存在则返回0。

-z 检查文件是否是0字节。如果是则返回0。

-d 如果路径是个目录，则返回1，否则返回0。

示例：

hadoop fs -test -e filename

text

使用方法：hadoop fs -text <src>

将源文件输出为文本格式。允许的格式是zip和TextRecordInputStream。

touchz

使用方法：hadoop fs -touchz URI [URI …]

创建一个0字节的空文件。

示例：

hadoop -touchz pathname

返回值：

成功返回0，失败返回-1。    

参考：http://hadoop.apache.org/docs/r1.0.4/cn/commands_manual.html

参考资料：

http://hadoop.apache.org/docs/current/hadoop-project-dist/hadoop-hdfs/HdfsDesign.html

http://hadoop.apache.org/docs/current/api/

以上是关于Hadoop HDFS 实现原理图文详解的主要内容，如果未能解决你的问题，请参考以下文章

图文详解HDFS工作机制

Hadoop原理之——HDFS原理

Hadoop原理之——HDFS原理

Hadoop详解——HDFS的命令，执行过程，Java接口，原理详解。RPC机制

2本Hadoop技术内幕电子书百度网盘下载：深入理解MapReduce架构设计与实现原理深入解析Hadoop Common和HDFS架构设计与实现原理

虚拟化的发展历程和实现原理——图文详解