[杂谈]杂谈章5 问一些问题

Posted szss

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了[杂谈]杂谈章5 问一些问题相关的知识,希望对你有一定的参考价值。

分布式文件系统(HDFS)与linux系统文件系统关系

HDFS基于操作系统的文件系统;

假设有一个1G的大文件,在linux文件系统上就是一个文件,由1G/512b的block组成;在HDFS上需要1024MB/64MB=16块,即16个linux文件组成,所以相当于一个普通1G的文件分成了16个小文件,在HDFS上的namenode会记录1G文件名对应16个文件名映射关系和16个文件名在对应datanote节点上的映射关系(备份除外)。datanote节点上的16个小文件就是linux文件,在各自datanote节点上的inode里记录了16个文件对应物理磁盘的映射关系。简而言之:1G的分布式文件转换成16个linux文件,HDFS就是实现了拆分文件功能,当然由于考虑单点故障原因,它把每个文件复制了3份(默认),不管哪个节点出故障可以合成完整的一个1G文件

以上是关于[杂谈]杂谈章5 问一些问题的主要内容,如果未能解决你的问题,请参考以下文章

SFDC(12)杂谈

mysql杂谈

关于机器学习的一些杂谈

合肥学院考研上岸杂谈以及合肥学院复试的一些情况

大数据杂谈(一些知识点和Linux命令)

C语言序章杂谈