Yarn 3.1.1 - Yarn 服务 - 总览

Posted shishaochen

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了Yarn 3.1.1 - Yarn 服务 - 总览相关的知识,希望对你有一定的参考价值。

YARN 服务

总览

Yarn 服务框架为在 Yarn 原生环境里长时间运行的服务,提供了一流的支持和接口。简言之,它扮演了容器编排系统的角色,统一管理 Yarn 上运行的容器化服务。它同时支持 Docker 容器和传统基于进程的 Yarn 容器。

本框架的职责包括配置实现和挂载,生命周期管理,如在 Yarn 上启动/停止/删除服务,服务组件的启停/伸缩,服务的滚动升级。

Yarn 服务框架主要包括以下组件:

  • 一个运行在 Yarn 上的核心框架(ApplicationMaster),担任容器编排者,负责管理所有服务的生命周期。
  • 一套 RESTful API 服务器,用于用户和 Yarn 进行通信,通过简单的 JSON 描述实现服务的部署/管理。
  • 由 Yarn Registry 支持的 DNS 服务器,实现基于标准 DNS 查找过程的服务发现。

为什么要尝试 Yarn 服务框架?

Yarn 服务框架简化了部署已有服务到 Yarn 的过程。它隐藏了程序管理的所有复杂的、底层的细节,让用户从不断写新代码中解脱出来。新服务的开发者无需担心 Yarn 的内部机制,只需关心如何容器化它们的服务。

该功能带来的另一个巨大便利是,你可以在一个平台同时运行传统的批处理作业和长时服务!组合者两种工作负荷的好处显而易见:

  • 极大地简化集群操作,因为你只需要和一个集群打交道。
  • 让批处理作业和服务共享一个集群能极大地提高资源利用率。

如何启用它?

该功能依然处于实验阶段,相关的 API 和命令行都存在变动的可能。我们会持续更新文档内容。

快速开始提供了一个简单的教程,带着你熟悉部署服务到 Yarn 的主要步骤。

深入了解

  • 概念:描述框架的内部结构和用于支持在 Yarn 上运行服务的 Yarn 核心功能。
  • 服务 REST API:在 Yarn 上部署/管理服务的 API 文档。
  • 服务发现:描述 Yarn 上的服务发现机制。
  • Registry DNS:升入 Registry DNS 的内部。
  • 示例:提供一些示例服务的描述(YarnFile)。
  • 配置:讲述如何在 Yarn 上配置自定义服务。
  • 服务升级:讲述如何升级一个 Yarn 服务(实验功能)。

以上是关于Yarn 3.1.1 - Yarn 服务 - 总览的主要内容,如果未能解决你的问题,请参考以下文章

Spark Yarn-cluster与Yarn-client

Hadoop 3.1.1 - Yarn - 使用 GPU

Hadoop 3.1.1 - Yarn - 使用 FPGA

Hadoop 3.1.1 - Yarn - 使用 CGroups

Yarn:将 JavaScript 依赖项重新部署到生产服务器的过程(使用 `yarn.lock` 文件)

YARN支持的计算框架