Hadoop MapReduce 2.0 架构详解

Posted 2022-12-02 @SmartSi

1. MapReduce 2.0 概述

Apache Hadoop 0.23 比以前的版本有了很大的改进。以下是 MapReduce 的一些亮点；请注意，HDFS也有一些主要的改进，这些不在本文的讨论范围之内。MapReduce 2.0(又名MRv2或YARN)。新的架构将 JobTracker 的两个主要功能 - 资源管理和作业生命周期管理 - 分解成单独的组件：

• 管理计算资源到应用程序的全局分配的 ResourceManager(RM)。
• 每个应用程序的 ApplicationMaster(AM)，用于管理应用程序的生命周期。

每个节点上还有一个NodeManager(NM)，用于管理该节点上的用户进程。RM和NM构成集群的计算框架。该设计还允许在NM中运行长时间的辅助服务；这些都是特定于应用程序的服务，作为配置的一部分进行指定，并在启动期间由NM加载。对于YARN上的MapReduce应用，shuffle是由NM加载的典型的辅助服务。请注意，在Hadoop 0.23版本之