Hadoop之HDFS介绍

Posted 2021-05-18 柳小葱

🌺 昨天我们学习了Hive的函数部分，然后发现自己对HDFS的理解不是太深，于是决定恶补HDFS的架构、文件存储原理和shell，昨天的文章在这👇:

• Hive函数: Hadoop之Hive函数.

🐹今天我们要学习的内容是HDFS的基本原理，重点掌握HDFS文件块的大小！

1.HDFS的介绍

1.1HDFS的产生背景

随着数据量的增大，在一个操作系统下存不下所有数据，那么就分配到更多的操作系统管理磁盘中，但是不方便管理和维护，迫切需要一种系统来管理多台机器上的文件，这就是分布式文件管理系统。HDFS只是分布式文件管理系统的一种。

1.2HDFS的定义

HDFS是一个文件系统，用来存储文件，通过目录树（与linux的目录结构很相似）来定位文件，其实，他是分部式的，由很多服务器联合起来实现其功能，集中的服务器有各自的功能。HDFS适合一次写入，多次读出的场景，一个文件经过创建、写入和关闭之后就不需要改变。

2.HDFS的优缺点

2.1优点

1. 高容错性

• 数据自动保存多个副本。通过增加副本的形式，提高容错性。

• 某一副本丢失后，它可以自动恢复。

2.适合处理大数据

• 数据规模：能够处理GB、TB甚至是PB级别的数据
• 文件规模：能够处理百万规模以上的文件数量，数量相当巨大。

3.可以构建在廉价机器上，通过多副本机制，提高可靠性。

2.2缺点

1.不适合低延时数据访问，比如毫秒级的数据存储，是做不到的。
2.无法高效的对大量小文件进行存储

• 存储大量小文件的话，它会占用NameNode大量的内存来存储文件目录和块信息，这样是不可取的，因为NameNode的内存总是有限的。
• 小文件存储的寻址时间会超过读取时间，他违反了HDFS的设计目标。
  3.不支持并发写入、文件随机修改。
• 一个文件只能有一个写，不允许多个线程同时写。
• 仅支持数据append追加，不支持文件的随机修改。

3.HDFS的组成

HDFS官网: 官网说明.

• HDFS的结构图
  

namenode: 是一个管理者，主要负责管理HDFS的命名空间；配置副本策略；管理数据块的映射信息；处理客户端的读写请求。

datanode:就是slave，namenode下达命令，datanode执行实际的操作。存储实际数据块；执行数据块的读/写操作。

client：客户端，负责文件的切分、与namenode交互；与datanode交互，web服务端就是一个客户端。

HDFS文件块的大小

HDFS中的文件在物理上是分块存储（Block）,块的大小可以通过配置参数（dfs.blocksize）来规定，默认大小在hadoop2.X/3.X版本是128M，而在hadoop1.X是64M。HDFS块的大小设置主要取决于磁盘传输速率。

当一个文件存储大小不足128M时，服务器会将剩余的容量分配给其他文件存储数据。当文件存储大小大于128M时，多出的数据存储在另一块上。

• 为什么数据块的大小不能设置太小，也不能设置太大？
  答：HDFS的块如果设置太小，会增加寻址时间，程序一直在找块的开始位置；如果块设置的太大，从磁盘传输数据的时间会明显大于定位这个块开始位置所需的时间，导致程序在处理这块数据时，会非常慢。

参考资料

《尚硅谷之Hadoop教程》
《大数据Hadoop3.X分布式处理实战》