HDFS01

Posted @想太多先森

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了HDFS01相关的知识,希望对你有一定的参考价值。

==============NameNode==============

管理文件系统的命名空间

记录每个文件数据在各个DataNode上的位置和副本信息

协调客户端对文件的访问

NameNode文件解析 ----->

VERSION 版本信息,文件系统标识符

seen_txid 事务管理用文件

 

fsimage_* 元数据文件

fsimage_*.md5 元数据文件

edits_* 元数据文件

==============DataNode==============

负责所在物理节点的存储管理

一次写入,多次读取(不修改)

文件由数据块组成,典型的块大小是64MB

数据块尽量散布到各个节点

DataNode文件解析 ----->

blk_<id>:HDFS的数据块,保存具体的二进制数据

blk_<id>.meta:数据块的属性信息:版本信息、类型信息

以上是关于HDFS01的主要内容,如果未能解决你的问题,请参考以下文章

HDFS_01_Hadoop简介

HDFS01

HDFS-架构原理

HDFS 实践 | 快手 EB 级 HDFS 挑战与实践

没有 HDFS 的 NoSQL

apache pig没有连接到hdfs