hadoop中namenode职责和hdfs读写

Posted

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了hadoop中namenode职责和hdfs读写相关的知识,希望对你有一定的参考价值。

1、namenode职责:

1.1、管理各个datanode节点

1.2、管理分布式文件系统的元数据信息

比如 一个文件多大,文件名,文件被切成几块,每个文件块存到哪台datanode服务上

1.3、通过RPC心跳机制来监控datanode的状态。对于网络通信,http主外,rpc主内

1.4、为了确保数据存储的可靠性,采用冗余机制来实现,注意:副本数量不宜过多,因为会降低整个集群的磁盘利用率,一般采用3副本策略,

2、hdfs读写过程

2.1从HDFS上下载文件过程

hadoop中namenode职责和hdfs读写_客户端

①、Client向namenode发起Open file请求。目的是获取指定文件的输入流。

namenode收入请求之后,会检查路径 的合法性,此外,还会检查客户端的操作权限。如果检测未通过,则直接报错返回,后续过程不会发生

②、Client也会向namenode发起GetBlockLocation请求,获取指定文件的元数据信息。如果第一步的检测通过,namenode会将元数据信息封装到输入流里,返回给客户端。

③、客户端根据元数据信息,直接去对应的datanode读取文件块,然后下载到本地(或创建 本地的输出流,然后做流的对接)

④、读完后,关流

 2.2 往HDFS上写文件过程

hadoop中namenode职责和hdfs读写_数据_02

①、Client向namenode发起Create File请求,目的是获取HDFS文件的输出流,namenode收到请求后,会检测路径 的合法性和权限,如果检测未通过,直接报错返回。

如果通过检测,namenode会将文件的切块信息(比如文件被切成几块,每个文件块的副本存在哪台datanode上),然后把这些信息封装到输出流里,返回给客户端。

所以注意:文件块的输出(上传)是客户端直接和对应datanode交互的,namenode的作用是告诉Client文件块要发送给哪个datanode上。

②、Client通过输出流,发送文件块(底层会将一个文件块打散成一个一个的packet,每个packet的大小为64kb)。这个过程的机制,叫Pipeline(数据流管理机制), 这种机制的目的在于充分利用每台机器的带宽,避免网络瓶颈和高延时的连接,最小化推送所有数据的延时

③、通过数据流管道机制,实现数据的发送和副本的复制。每台datanode服务器收到数据之后,会向上流反馈ack确认机制,直到第五步的ack发送给Client之后,再发送下一个packet。依次循环,直到所有数据都复制完成。此外,在底层传输的过程中,会用到全双工通信

④、数据上传完成之后,关流

 2.3 从HDFS上删除文件的流程

①、客户端赂namenode发现删除文件指令,比如:hadoop fs -rm /park01/1.txt

②、namenode收到请求后,会检查路径 的合法性及权限

③、如果检测通过,会将对应的文件从元数据中删除。(注意:此时这个文件并没有真正从集群上被删除)

④、每台datanode会定期向namenode发送心跳,会领取删除的指令,批到对应的文件块,进行文件块的删除

以上是关于hadoop中namenode职责和hdfs读写的主要内容,如果未能解决你的问题,请参考以下文章

Hadoop之HDFS(HDFS的数据流读写数据) (面试开发重点)

HDFS读写流程图文详解,及职责详解

hdfs多用户读写权限设置

hdfs主要功能

Hadoop HDFS的主要架构与读写文件

大数据系列文章-Hadoop的HDFS读写流程