HDFS

Posted 2020-12-04 zzl-156783663

 

 

1、基本概念
-块（block）
-namenode
-datanode

hdfs文件分成块存储，默认64M，块是文件存储的逻辑单元
hdfs有两类节点：nomenode、datanode

nomenode是管理节点，存放文件元数据
（1）文件与数据块的映射表
（2）数据块与数据节点的映射表
datanode是hdfs的工作节点，存放数据块。

2、数据管理策略
每个数据块3个副本，分布在两个机架内的三个节点
心跳检测：datanode定期向namenode发送心跳消息（检测是否节点挂了）
二级namenode：二级namenode定期同步元数据映像文件和修改日志，namenode发送故障时，替换之

3、hdfs中文件的读写操作
客户端发起请求，namenode查询元数据，返回所在的节点，客户端再去读取所在节点的块进行组装

 

 文件先拆分成块，通知namenode，找到足够磁盘空间的datanode，客户端把块再写入到namenode，再复制到其他节点，完成后告知namenode更新元数据

3、hdfs特点
（1）数据冗余，硬件容错
（2）流式的数据访问：（数据一次写入多次读取，无法修改。只能删掉重写）
（3）存储大文件（小文件namenode压力一样大）

适合数据批量读写，吞吐量高
不适合交互式应用，低延时很难满足
适合一次写入多次读取，顺序读写
不支持多用户并发写相同文件

4、hdfs使用
hdfs命令：
hadoop fs -ls /
hadoop fs -rm /xxx
hadoop dfsadmin -report 打印信息