BeWhatever

Posted 2020-11-23 lijianming180

Hadoop Distributed File System：分布式文件系统。 HDFS基于流数据模式访问和处理超大文件需求开发，具有高容错性，高可靠性，高可扩展性，多部署在低成本的硬件上。HDFS提供对应用程序数据的高吞吐量访问，便利了海量数据的处理

介绍

• 假设和目标
  • 硬件故障：检测故障并从中快速恢复
  • 流式数据访问
    • HDFS设计用于批处理而非用户的交互使用
    • 重点是数据访问的高吞吐量而非低延迟
  • 大数据集
    • HDFS上运行的应用程序具有大型数据集，支持大文件
    • 应为单个集群中的数百个结点提供高聚合数据带宽和扩展
    • 应在单个实例中支持数万个文件
  • 一致性模型
    • write-one-read-many
    • 除了追加和截断之外，无需更改创建，写入和关闭的文件
    • 支持将内容附加到文件末尾，但是无法在任意点更新
    • MapReduce应用程序和Web爬虫程序完全适用于此模型
  • 移动计算而非移动数据
    • 好的做法是将计算迁移到更靠近数据所在的位置（HDFS提供接口）
    • 应用程序在其操作的数据附近执行，效率更高
    • 最大限度减小网络拥塞和提高系统吞吐量
  • 跨异构硬件和软件平台的可移植性

大专栏  BeWhatevererlink" title="HDFS 架构 – 主从架构（master/slave)">HDFS 架构 – 主从架构（master/slave)

• 架构图
  
• Client
  • 文件切分。文件上传HDFS的时候，Client将文件切分成一个一个的Block进行存储
  • 与 NameNode 交互，获取文件的位置信息
  • 与 DataNode 交互，读取或者写入数据
  • Client 提供命令来管理 HDFS，启动或者关闭HDFS
  • Client 可以通过一些命令来访问HDFS
• NameNode(master)
  • 管理系统命名空间
  • 管理客户端对文件的访问(读写请求)
  • 管理数据块映射信息
  • 配置副本策略
• DataNode(slave)
  • 确定块 – DataNode的映射
  • 提供来自Client的读写请求
  • 块创建/删除
• Secondary NameNode
  • 当NameNode挂掉的时候，并不能马上替换 NameNode 提供服务
  • 辅助 NameNode，分担其工作量
  • 定期合并 fsimage和fsedits，并推送给NameNode
  • 在紧急情况下，可辅助恢复 NameNode

参考资料

• https://www.cnblogs.com/codeOfLife/p/5375120.html
• http://hadoop.apache.org/docs/stable/hadoop-project-dist/hadoop-hdfs/HdfsDesign.html