大数据Hadoop基础入门到精通

Posted 2022-07-16 zhichun

1.hadoop前世今生：

　　1） 搜索引擎：网络爬虫+索引服务器（生成索引+检索）

　　2） Doung Cutting

　　3)  Nutch

　　　　a.分布式存储

　　　　b.分布式计算

　　4）GFS论文 doung cutting写了hdfs

2.hadoop概述

　　hadoop common:提供网络通信

　　hadoop hdfs

　　hadoop mapreduce

　　hadoop yarn

 

Hadoop 0.x 1.x

 

 

 

 

 Hadoop 2.x之后的版本

 Hadoop 概述

 

 

hdfs引入 

 

NameNode是主节点存储元数据，以及每个文件所在的块列表和块所在的DataNode

 

DataNode存储块数据和校验和

 

SecondaryNamenode 监控后台数据，获取快照

 

 

1)四大模块

 

2）hdfs(hadoop distributed file system)：分布式文件系统

　　a.文件系统：文件管理+block块管理

　　单机文件系统

　　window:FAT16、FAT32、NTFS

　　linux:ext 2/3/4、 VFS

　　b.分布式文件系统

　　多个服务器文件系统

　　c.三大组件

　　NameNode

• 　　元数据：文件名、目录名、属性
• 　　文件列表与block列表之间的关系
• 　　block与datanode列表映射关系

 

　　Datanode

　　block块数据、校验和编码

 

　　SecondaryNameNode

　　分担namenode压力，合并编辑日志edits和镜像文件fsimage,合并后将最终的文件返回namenode进行处理

　　

 Hadoop概述

 

YARN引入案例