hadoop学习笔记

Posted 2020-09-30 zhchoutai

1.HDFS架构：

NameNode保存元数据信息，包含文件的owner，permission。block存储信息等。存储在内存。

2.HDFS设计思想

文件以块的形式存贮，即block，大小为64M。大于64的文件分块，小于64则为1块。

文件在上传的时候会产生副本，副本与原文件在不同的节点上，这样当一个节点挂掉后不至于丢失文件。节点挂掉后会在空暇节点生成损失的文件。保证副本不会少。（容错性）

写文件前须要先创建文件。NameNode先获得文件信息，再告诉DistributedFileSystem上传的文件须要分为多少个block。写文件时NameNode告诉FSDataOutputStream写在哪。

DataNode通过心跳包告诉NameNode自己是否空暇。

client写入数据到DataNode。client不产生副本，副本由DataNode依据副本分配策略，将文件拷贝到其它DataNode。

MapReducehe

每个分片（split）都有一个线程去运行。并发地。

MR运行分为split（分片），map，shuffling，reduce四个步骤。最后生成的part保存在HDFS中。整个过程把HDFS的原始数据经过处理再存放。

MR运行过程如图：

杂乱的数据线split分片，通过mapping（程序猿实现）计算输出和合并排序（shuffling）再依次传给reduce线程计算。

map的结果储存在内存，然后将内存中的数据partition（分区，依照程序partition中写的规则或者默认的分区规则），并排序。易写到磁盘。

这部分操作都是属于一个Map Task，即在一个节点上的。reduce怎样解决数据倾斜问题？通过partition的分配策略

Hadoop1与Hadoop2差别：

HA：主/备模式的NameNode。避免了Hadoop1中NameNode单点故障问题。

Federation：相当于NameNode的集群。针对数据量巨大的公司。

yarn：Hadoop的统一一资源管理系统，Hadoop2.X新增，个人理解是为了解耦，添加的一层

ZK即Zookeeper：管理NameNode。通过信条连接监控NameNode的情况，active的NameNode挂掉后投票选举产生新的active NameNode。

Zookeeper为基数个。