hadoop学习笔记

Posted zhchoutai

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了hadoop学习笔记相关的知识,希望对你有一定的参考价值。

1.HDFS架构:

技术分享技术分享技术分享

NameNode保存元数据信息,包含文件的owner,permission。block存储信息等。存储在内存。


2.HDFS设计思想

技术分享技术分享

文件以块的形式存贮,即block,大小为64M。大于64的文件分块,小于64则为1块。

文件在上传的时候会产生副本,副本与原文件在不同的节点上,这样当一个节点挂掉后不至于丢失文件。节点挂掉后会在空暇节点生成损失的文件。保证副本不会少。(容错性)


写文件前须要先创建文件。NameNode先获得文件信息,再告诉DistributedFileSystem上传的文件须要分为多少个block。写文件时NameNode告诉FSDataOutputStream写在哪。

DataNode通过心跳包告诉NameNode自己是否空暇。

client写入数据到DataNode。client不产生副本,副本由DataNode依据副本分配策略,将文件拷贝到其它DataNode。

技术分享技术分享

MapReducehe


每个分片(split)都有一个线程去运行。并发地。

MR运行分为split(分片),map,shuffling,reduce四个步骤。最后生成的part保存在HDFS中。整个过程把HDFS的原始数据经过处理再存放。

MR运行过程如图:

技术分享技术分享

杂乱的数据线split分片,通过mapping(程序猿实现)计算输出和合并排序(shuffling)再依次传给reduce线程计算。

技术分享

map的结果储存在内存,然后将内存中的数据partition(分区,依照程序partition中写的规则或者默认的分区规则),并排序。易写到磁盘。

这部分操作都是属于一个Map Task,即在一个节点上的。reduce怎样解决数据倾斜问题?通过partition的分配策略

技术分享

Hadoop1与Hadoop2差别:


技术分享

技术分享


技术分享

HA:主/备模式的NameNode。避免了Hadoop1中NameNode单点故障问题。


Federation:相当于NameNode的集群。针对数据量巨大的公司。

技术分享技术分享

yarn:Hadoop的统一一资源管理系统,Hadoop2.X新增,个人理解是为了解耦,添加的一层


ZK即Zookeeper:管理NameNode。通过信条连接监控NameNode的情况,active的NameNode挂掉后投票选举产生新的active NameNode。

Zookeeper为基数个。


















以上是关于hadoop学习笔记的主要内容,如果未能解决你的问题,请参考以下文章

Hadoop 系统性学习笔记系列

学习笔记尚硅谷Hadoop大数据教程笔记

学习笔记尚硅谷Hadoop大数据教程笔记

学习笔记尚硅谷Hadoop大数据教程笔记

Hadoop学习笔记:WordCount程序的实现与总结

大数据学习笔记~Hadoop基础篇