hadoop：hdfs：为什么不适合大量小文件的存储
Posted 花和尚也有春天
tags:
篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了hadoop：hdfs：为什么不适合大量小文件的存储相关的知识，希望对你有一定的参考价值。
（1）HDFS不适合大量小文件的存储，因namenode将文件系统的元数据存放在内存中，因此存储的文件数目受限于 namenode的内存大小。HDFS中每个文件、目录、数据块占用150Bytes。如果存放的文件数目过多的话会占用很大的内存
（2）HDFS适用于高吞吐量，而不适合低时间延迟的访问。如果同时存入大量的小文件会花费很长的时间
（3） 流式读取的方式，不适合多用户写入，以及任意位置写入。如果访问小文件，则必须从一个datanode跳转到另外一个datanode，这样大大降低了读取性能。
以上是关于hadoop：hdfs：为什么不适合大量小文件的存储的主要内容，如果未能解决你的问题，请参考以下文章