Hadoop 2.x简介

Posted 2020-09-30 嘣嘣嚓

Hadoop 2.0产生背景

• Hadoop1.0中HDFS和MapReduce在高可用、扩展性等方面存在问题
• HDFS存在的问题
  • NameNode单点故障，难以应用于在线场景
  • NameNode压力过大，且内存受限，影响系统扩展性
• MapReduce存在的问题
  • JobTracker访问压力大，影响系统扩展性
  • 难以支持除MapReduce之外的计算框架，比如Spark 、Storm等

　MapReduce是离线计算框架，计算时间会比较长
　Spark是内存计算框架，更快
　Storm是流计算框架，可实时获取计算结果

Hadoop 1.x 与Hadoop 2.x

 

 

• Hadoop 2.x由HDFS、MapReduce和YARN三个分支构成
  • HDFS : NN Federation、HA;
  • MapReduce : 运行在YARN上的MR
  • YARN : 资源管理系统（内存、CPU资源）

Federation把元数据分成两个独立的NameNode去工作。
YARN知道任何一台机器的使用情况，在执行任务的时候，首先去YARN上申请，YARN 分配到某台机器上去执行，可做到资源不浪费

HDFS存储的数据可由MapReduce进行计算，也可以由其它的计算框架计算

HDFS 2.x优点

• 解决HDFS 1.0中单点故障和内存受限问题
• 解决单点故障
  • HDFS HA : 通过主备NameNode解决（只有一个NameNode正常工作，其它都是备用）
  • 如果主NameNode发生故障，则切换到备NameNode上
• 解决内存受限问题
  • HDFS Federation(联邦)
  • 水平扩展，支持多个NameNode
  • 每个NameNode分管一部分目录（相互独立）
  • 所有NameNode共享所有DataNode存储资源
• 2.x仅是架构上发生了变化，使用方式不变
• 对HDFS使用者透明
• HDFS 1.X中的命令和API仍可以使用