HDFS的实现思想

Posted starsyh

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了HDFS的实现思想相关的知识,希望对你有一定的参考价值。

1、hdfs是通过分布式集群来存储文件,为客户端提供了一个便捷的访问方式,就是一个虚拟的目录结构
2、文件存储到hdfs集群中去的时候是被切分成block的
3、文件的block存放在若干台datanode节点上
4、hdfs文件系统中的文件与真实的block之间有映射关系,由namenode管理
5、每一个block在集群中会存储多个副本,好处是可以提高数据的可靠性,还可以提高访问的吞吐量

 

技术图片

 

以上是关于HDFS的实现思想的主要内容,如果未能解决你的问题,请参考以下文章

HDFS设计思想元数据简单JAVAAPI操作HDFS

HDFS

HDFS定义和架构

运行Sqoop任务的通用脚本Python2实现(待优化)

大数据启蒙-初识HDFS

Hadoop中HDFS的初步认识