Hadoop读书笔记HDFS体系结构

Posted llguanli

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了Hadoop读书笔记HDFS体系结构相关的知识,希望对你有一定的参考价值。

Hadoop读书笔记(一)Hadoop介绍:http://blog.csdn.net/caicongyang/article/details/39898629

Hadoop读书笔记(二)HDFS的shell操作:http://blog.csdn.net/caicongyang/article/details/41253927

Hadoop读书笔记(三)Java API操作HDFShttp://blog.csdn.net/caicongyang/article/details/41290955

1.NameNode

作用:管理文件文件夹结构、管理数据节点。名字节点维护两套数据,一套是文件文件夹与数据块之间的关系, 还有一套是数据块与节点之间的关系。 前一套数据是静
态的,是存放在磁盘上的。通过 fsimage 和 edits 文件来维护。后一套数据是动态的。不持久化到磁盘的,每当集群启动的时候,会自己主动建立这些信息。

配置信息:core-site.xml中的hadoop.tmp.dir??系统默认的配置文件:core-default.xml(源代码)

文件夹结构 :/usr/local/hadoop/tmp/dfs/name (/usr/local 为Hadoop安装文件夹。文件路径配置在源代码中的core-default.xml中和用户的core-site.xml中)

2.DataNode

作用:数据存储

配置信息:默认大小64M ,默认3份备份 系统默认的配置文件:core-default.xml ?配置项:dfs.block.size dfs.replication

文件夹结构:/usr/local/hadoop/tmp/data

3.SecondaryNameNode

作用:edis、fsimage、fstime为HDFS文件夹结构文件,fstime的作用是事务,edits的作用是暂时文件,fsimage是镜像文件,SecondaryNameNode负责将NameNode中的edits合并到fsimage中。




欢迎大家一起讨论学习。

实用的自己收!

记录与分享,让你我共成长!欢迎查看我的其它博客。我的博客地址:http://blog.csdn.net/caicongyang




以上是关于Hadoop读书笔记HDFS体系结构的主要内容,如果未能解决你的问题,请参考以下文章

[hadoop读书笔记] Hadoop下各技术应用场景

[hadoop读书笔记] 第十五章 sqoop1.4.6小实验 - 数据在mysq和hdfs之间的相互转换

[hadoop读书笔记] 第四章 Hadoop I/O操作

从设计到实现:HDFS复制流程细节 | 分布式文件系统读书笔记

[hadoop读书笔记] 第一章 初识 Hadoop

《Hadoop金融大数据分析》读书笔记