hadoop核心基础架构学习分享

Posted 2021-04-13 软件开发信息交流

　　了解过大数据的朋友对hadoop一定不陌生吧，hadoop可以处理结构化数据，同时也是可以很好的处理非结构化或者半结构化数据，hadoop系统比较的灵活，可扩展性好，性价比高，可靠性高。我们都知道hadoop系统上有很多的不同的组件，下面新霸哥将详细的为大家介绍一下hadoop核心基础架构。

　　首先说一下Namenode和Datenode

　　Namenode可以简单的理解为主节点，Datenode从属节点，连在一起Namenode和Datenode之间有Master和Slave的关系，或者说从属关系。其实对于hadoop用户来说，他们不需要了解数据存储的细节，也不需要知道文件的各个数据块是存储在哪些数据节点上的，他们只需要对这些文件进行操作，对应的拆分和多个副本的存储是由系统自动完成的。

　　和Datenode一样，Namenode节点上也有一个同名的后台进程，而所有的文件匹配信息则保存在一个名为fsimage的文件中，所有的新的操作修改保存在一个名为edits的文件中。edits文件中的内容会定期的写入fsimage文件中。

　　底层文件系统HDFS

　　在HDFS上，存储的内容可以是任何格式的，为了便于存储和管理数据，HDFS上的文件都被切割成固定大小的数据块，在这里数据块的大小是系统配置的。

　　Hadoop上的数据库HBase

　　HBase是一个分布式的数据存储系统，它的设计思想就是一个字“大”，简单的说数据量可以很大，数据维度可以很多，HBase可以在很多台服务器上运行。

　　hadoop核心基础架构学习分享，今天就到这里了，更新新的技术将继续推出。