HDFS详解

Posted 2021-05-18 研程序笔记

一、HDFS概述

1.1 HDFS 产出背景及定义

1）HDFS 产生背景

随着数据量越来越大，在一个操作系统存不下所有的数据，那么就分配到更多的操作系 统管理的磁盘中，但是不方便管理和维护，迫切需要一种系统来管理多台机器上的文件，这 就是分布式文件管理系统。HDFS 只是分布式文件管理系统中的一种。

2）HDFS 定义

HDFS（Hadoop Distributed File System），它是一个文件系统，用于存储文件，通过目 录树来定位文件；其次，它是分布式的，由很多服务器联合起来实现其功能，集群中的服务 器有各自的角色。HDFS 的使用场景：适合一次写入，多次读出的场景。一个文件经过创建、写入和关闭 之后就不需要改变。

1.2 HDFS 优缺点

1. HDFS优点

• 高容错性 数据自动保存多个副本。它通过增加副本的形式，提高容错性, 某一个副本丢失以后，它可以自动恢复。

• 适合处理大数据 数据规模：能够处理数据规模达到GB、TB、甚至PB级别的数据；某一个副本丢失以后，它可以自动恢复。文件规模：能够处理百万规模以上的文件数量，数量相当之大。

• 可构建在廉价机器上，通过多副本机制，提高可靠性。

HDFS缺点

• 不适合低延时数据访问，比如毫秒级的存储数据，是做不到的。

• 无法高效 的 对大量小文件进行存储。存储大量小文件的话，它会占用NameNode大量的内存来存储文件目录和块信息。这样是不可取的，因为NameNode的内存总是有限的；小文件存储的寻址时间会超过读取时间，它违反了HDFS的设计目标。

• 不支持并发写入、文件随机修改。一个文件只能有一个写，不允许多个线程同时写；仅支持数据append（追加），不支持文件的随机修改。

1.3 HDFS 组成架构

• NameNode（nn）：就是Master，它 是一个主管、管理者。（1）管理HDFS的名称空间；（2）配置副本策略；（3）管理数据块（Block）映射信息；（4）处理客户端读写请求。

• DataNode：就是Slave。NameNode 下达命令，DataNode执行实际的操作。（1）存储实际的数据块；（2）执行数据块的读/写操作。

• Client：就是客户端。（1）文件切分。文件上传HDFS的时候，Client将文件切分成一个一个的Block，然后进行上传；（2）与NameNode交互，获取文件的位置信息；（3）与DataNode交互，读取或者写入数据；（4）Client提供一些命令来管理HDFS，比如NameNode格式化；（5）Client可以通过一些命令来访问HDFS，比如对HDFS增删查改操作；

• Secondary NameNode：并非NameNode的热备。当NameNode挂掉的时候，它并不 能马上替换NameNode并提供服务。（1）辅助NameNode，分担其工作量，比如定期合并Fsimage和Edits，并推送给NameNode ；（2）在紧急情况下，可辅助恢复NameNode。

1.4 HDFS 文件块大小（面试重点）

HDFS中的文件在物理上是分块存储（Block），块的大小可以通过配置参数 ( dfs.blocksize）来规定，默认大小在Hadoop2.x/3.x版本中是128M，1.x版本中是64M。

• HDFS 的块 设置太小，会增加寻址时间，程序一直在找块的开始位置；

• 如果块设置的太大，从磁盘传输数据的时间会明显大于定位这个块开 始位置所需的时间。导致程序在处理这块数据时，会非常慢。

总结：HDFS块的大小设置主要取决于磁盘传输速率。

二、HDFS常见shell操作

2.1 基本语法

hadoop fs 具体命令 OR hdfs dfs 具体命令,两个是完全相同的

2.2 命令大全

https://blog.csdn.net/qq_44779847/article/details/116501229

注意：设置的副本数只是记录在 NameNode 的元数据中，是否真的会有这么多副本，还得 看 DataNode 的数量。因为目前只有 3 台设备，最多也就 3 个副本，只有节点数 的 增加到 10 台时，副本数才能达到 10。

三、HDFS 的 API 操作

https://blog.csdn.net/qq_44779847/article/details/116606371

四、HDFS 的读写流程（面试重点）

4.1 HDFS 写数据流程

• 客户端通过 Distributed FileSystem 模块向 NameNode 请求上传文件，NameNode 检 查目标文件是否已存在，父目录是否存在。

• NameNode 返回是否可以上传。

• 客户端请求第一个 Block 上传到哪几个 DataNode 服务器上。

• NameNode 返回 3 个 DataNode 节点，分别为 dn1、dn2、dn3。

• 客户端通过 FSDataOutputStream 模块请求 dn1 上传数据，dn1 收到请求会继续调用 dn2，然后 dn2 调用 dn3，将这个通信管道建立完成。

• dn1、dn2、dn3 逐级应答客户端。

• 客户端开始往 dn1 上传第一个 Block（先从磁盘读取数据放到一个本地内存缓存）， 以 Packet 为单位，dn1 收到一个 Packet 就会传给 dn2，dn2 传给 dn3；dn1 每传一个 packet 会放入一个应答队列等待应答。

• 当一个 Block 传输完成之后，客户端再次请求 NameNode 上传第二个 Block 的服务 器。（重复执行 3-7 步）。

4.2 HDFS 读数据流程

• 挑选一台 DataNode（就近原则，然后随机）服务器，请求读取数据。

• DataNode 开始传输数据给客户端（从磁盘里面读取数据输入流，以 Packet 为单位 来做校验）。

• 客户端以 Packet 为单位接收，先在本地缓存，然后写入目标文件。

五、 NameNode 和 SecondaryNameNode

1）第一阶段：NameNode 启动

• 第一次启动 NameNode 格式化后，创建 Fsimage 和 Edits 文件。如果不是第一次启动，直接加载编辑日志和镜像文件到内存。

• 客户端对元数据进行增删改的请求。

• NameNode 记录操作日志，更新滚动日志。

• NameNode 在内存中对元数据进行增删改。

2）第二阶段：Secondary NameNode 工作

• Secondary NameNode 询问 NameNode 是否需要 CheckPoint。直接带回 NameNode 是否检查结果。

• Secondary NameNode 请求执行 CheckPoint。

• NameNode 滚动正在写的 Edits 日志。

• 将滚动前的编辑日志和镜像文件拷贝到 Secondary NameNode。

• Secondary NameNode 加载编辑日志和镜像文件到内存，并合并。

• 生成新的镜像文件 fsimage.chkpoint。

• 拷贝 fsimage.chkpoint 到 NameNode。

• NameNode 将 fsimage.chkpoint 重新命名成 fsimage。

Fsimage 和 Edits 解析

NameNode被格式化之后，将在/opt/module/hadoop-3.1.3/data/tmp/dfs/name/current目录中产生如下文件

fsimage_0000000000000000000 fsimage_0000000000000000000.md5 seen_txid VERSION

• Fsimage文件：HDFS文件系统元数据的一个永久性的检查点，其中包含HDFS文件系统的所有目 录和文件inode的序列化信息。

• Edits文件：存放HDFS文件系统的所有更新操作的路径，文件系统客户端执行的所有写操作首先 会被记录到Edits文件中。

• seen_txid文件保存的是一个数字，就是最后一个edits_的数字

• 每次NameNode启动的时候都会将Fsimage文件读入内存，加 载 Edits里面的更新操作，保证内存 中的元数据信息是最新的、同步的，可以看成NameNode启动的时候就将Fsimage和Edits文件进行了合并。

oiv 查看 Fsimage 文件 ：hdfs oiv -p 文件类型 -i 镜像文件 -o 转换后文件输出路径 案例：hdfs oiv -p XML -i fsimage_0000000000000000025 -o /opt/module/hadoop-3.1.3/fsimage.xml oev 查看 Edits 文件 ：hdfs oev -p 文件类型 -i 编辑日志 -o 转换后文件输出路径 案例：hdfs oev -p XML -i edits_0000000000000000012-0000000000000000013 -o /opt/module/hadoop- 3.1.3/edits.xml

六、DataNode

6.1 DataNode的工作机制

• 一个数据块在 DataNode 上以文件形式存储在磁盘上，包括两个文件，一个是数据本 身，一个是元数据包括数据块的长度，块数据的校验和，以及时间戳。

• DataNode 启动后向 NameNode 注册，通过后，周期性（1 小时）的向 NameNode 上报所有的块信息。

• 心跳是每 3 秒一次，心跳返回结果带有 NameNode 给该 DataNode 的命令如复制块数 据到另一台机器，或删除某个数据块。如果超过 10 分钟没有收到某个 DataNode 的心跳，则 认为该节点不可用。

• 集群运行中可以安全加入和退出一些机器。

6.2 数据完整性

• 当 DataNode 读取 Block 的时候，它会计算 CheckSum。

• 如果计算后的 CheckSum，与 Block 创建时值不一样，说明 Block 已经损坏。

• Client 读取其他 DataNode 上的 Block。

• DataNode 在其文件创建后周期验证 CheckSum

6.3 掉线时限参数设置

hdfs-site.xml 配置， heartbeat.recheck.interval 的单位为毫秒， dfs.heartbeat.interval 的单位为秒。<property> <name>dfs.namenode.heartbeat.recheck-interval</name> <value>300000</value> </property> <property> <name>dfs.heartbeat.interval</name> <value>3</value> </property>

6.4 服役新数据节点

• 在 hadoop104 主机上再克隆一台 hadoop105 主机

• 删除原来 HDFS文件系统留存的文件（data 和 log）

• source 一下 配置文件

然后直接启动即可，如果遇到数据不均衡，执行命令（对应自己的目录）：./start-balancer.sh starting balancer, logging to /opt/module/hadoop- 3.1.3/logs/hadoop-watson-balancer-hadoop102.out

6.5 退役旧数据节点

添加白名单 在 NameNode 的 hdfs-site.xml 配置文件中增加 dfs.hosts 属性 <property> <name>dfs.hosts</name> <value>/opt/module/hadoop-3.1.3/etc/hadoop/dfs.hosts</value> </property>

添加黑名单 在 NameNode 的 hdfs-site.xml 配置文件中增加 dfs.hosts.exclude 属性 <property> <name>dfs.hosts.exclude</name> <value>/opt/module/hadoop-3.1.3/etc/hadoop/dfs.hosts.exclude</value> </property>

DataNode多目录 DataNode 也可以配置成多个目录，每个目录存储的数据不一样。即：数据不是副本，在hdfs-site.xml配置 <property> <name>dfs.datanode.data.dir</name> <value>file:///${hadoop.tmp.dir}/dfs/data1,file:///${hadoop.tmp.dir}/dfs/data2</value> </property>