HDFS优缺点
Posted 迈克尔妞妞
tags:
篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了HDFS优缺点相关的知识，希望对你有一定的参考价值。
HDFS解决大数据存储的问题
HDFS优点
- 高容错性
数据自动保存多个副本
副本丢失后自动恢复
- 适合批处理
移动计算而非数据
数据位置暴露给计算框架
- 适合大数据处理
GB、TB、甚至PB级数据
百万规模以上的文件数据量
10K+结点
- 可构建在廉价机器上（为啥-->因为有高容错性，即使机器挂了数据也不会丢）
通过多副本提高可靠性
提供了容错和恢复机制
HDFS缺点
- 低延迟数据访问（读一些小文件的时候，寻址时间可能会比读数据还长）
- 小文件存储（想办法转成大文件）
占用namenode大量内存（元数据信息）
寻道时间超过读取时间
- 并发写入、文件随机修改
一个文件只能有一个写者
不支持内容修改，虽然2.0仅支持append，但一般生产环境不会开放（涉及到副本的修改，涉及文件大小改变切分）
以上是关于HDFS优缺点的主要内容，如果未能解决你的问题，请参考以下文章