hadoop之HDFS运行小观察

Posted 2020-08-27 Hello_BeautifulWorld

hadoop 是当前很火的一个  大数据运行框架和平台， 对于这个神奇的大家伙我甚是搞不清楚，前段时间闲来无视便把 HADOOP 运行起来， 看着它的操作记录存储部分（操作日志）， IMAGE 记录着平台所有的文件操作记录，比如  创建文件，删除文件，改名 等等， 以下是我的一些小观察。

 

 

格式化----初始化

这是 fsimage  最初的样子，因为只是将磁盘格式化，并没有任何操作。一个序号为0 的IMAGE ，  md5校验文件，   版本号文件。

 

 

 

格式化后开启集群

 

 

 

无任何操作---1小时后

可以看到  IMAGE 个数增加，   序号也在增加，  当然这段时间里面并没有什么任何操作。

 

 

 

 

 

 

经过一定操作后，  可以看到下两图：IMAGE 数量迅速增加，序号也在增加， 

edits  文件记录的是操作记录， 随时间增加，序号增加。

edits_inprogress  是正在进行记录的文件。

fsimage  是经过校验，在某个时间点之前的记录全部存盘的文件， 这里面可以看到是分别做了两个存储，是两个最后的临近时间点。