HDFS分布式文件系统

Posted 2021-01-12 likevin

• HDFS概述及设计目标
  • 　　如果让我们自己设计一个分布式文件存储系统，怎么做？
  • 
  • HDFS设计目标
    • 　　非常巨大的分布式文件系统
    • 　　运行在普通廉价的硬件上
    • 　　易扩展，为用户提供性能不错的文件存储系统
• HDFS架构

Master（NameNode/NN），带N个Slaves（DataNode/DN）

HDFS/YARN/HBase 架构一样

1个文件会被拆分成多个Block

blocksize ：128M

130M ==》 2个block ：128M 和2M

NameNode：

1.负责客户端请求的响应

2.负责元数据（文件的名称，副本系数，Block存放的DN）的管理

DN:

1.存储用户的文件对应的数据块（Block）

2.要定期向NN发送心跳信息，汇报本身及其所有的block信息，健康状况

 

　　

• HDFS副本机制

• • 　　HDFS 副本存放策略

 

• HDFS环境搭建

下载地址：http://archive.cloudera.com/cdh5/cdh/5/

版本号：hadoop-2.6.0-cdh5.7.0

安装指导：http://archive.cloudera.com/cdh5/cdh/5/hadoop-2.6.0-cdh5.7.0/hadoop-project-dist/hadoop-common/SingleCluster.html

帮助链接 :http://hadoop.apache.org/docs/stable/hadoop-project-dist/hadoop-hdfs/HdfsDesign.html

• • 　　Hadoop伪安装步骤