CDP-DC中部署Yarn

Posted 2021-05-01 大数据杂货铺

文档编写目的

本文主要介绍如何在CDP-DC集群上安装部署 Yarn 。

内容概述

1) CDP-DC集群上部署Yarn

2) Yarn UI演示

测试环境

1) CM和Cloudera Runtime版本为7.1.1

2) Redhat7.7

3) 拥有Cloudera Manager的管理员账号

4) 集群未启用Kerberos

部署Yarn

本文档提供有关如何使用Cloudera Data Platform数据中心安装过程部署Yarn的说明。

Yarn MR2部署步骤

1. 从您的Cloudera Manager主页，转到状态选项卡> 群集名称> ... > 添加服务

2. 从服务列表中，选择“ YARN (MR2 Included) ”，然后单击“ 继续”。

3. 在“选择依赖项”页面上，选择要Yarn设置的依赖项：

Yarn的依赖项有两部分，一部分是必须依赖，HDFS和ZooKeeper已经默认选中，另一部分是可选依赖，这里后续使用ranger来管理yarn的安全，因此把ranger的依赖也选中。

4. 在“分配角色”页面上，选择依赖项的角色分配，然后单击“继续”：

这里给三个角色分配对应的主机。

5. 审核修改

在“ 审核 更改”页面上，大多数默认值都是可接受的 ，这里直接使用默认值。

6. “ 命令详细信息” 页面显示了操作状态。完成后，系统管理员可以在 stdout 下查看安装日志。

7. 回到Cloudera Manager主页，查看 Yarn 服务

Yarn Queue Manager部署步骤

1) 从您的Cloudera Manager主页，转到状态选项卡> 群集名称> ... > 添加服务

从服务列表中，选择“ YARN Queue Manager ”，然后单击“ 继续”。

2) 在“选择依赖项”页面上，选择要Yarn Queue Manager设置的依赖项：

Yarn Queue Manager有一个必须依赖ZooKeeper，默认选中。

3) 在“分配角色”页面上，选择依赖项的角色分配，然后单击“继续”：

4) 审核修改

在“ 审核 更改”页面上，大多数默认值都是可接受的 ，这里直接使用默认值。

5) “命令详细信息”页面显示了操作状态。完成后，系统管理员可以在 stdout 下查看安装日志。

6) 回到Cloudera Manager主页，查看Yarn服务

YARN预警修复

1) 可以看到 YARN (MR2 Included) 有一个配置预警。

2) 设置yarn依赖Yarn Queue Manager即可。

进入到Yarn MR2的配置页面，Cloudera Manager主页->集群-> Yarn(MR2 included)->配置

找到 Queue Manager 服务，复选Yarn Queue Manager,然后保存

点击 ，重启Yarn，使变更生效。

在CDP-DC中，默认的调度器从FairScheduler修改为CapacityScheduler。

Yarn测试

进入到terminal，执行下面的命令：

export HADOOP_USER_NAME=hdfshadoop jar /opt/cloudera/parcels/CDH/lib/hadoop-mapreduce/hadoop-mapreduce-examples.jar pi 10 100

总结

1. Yarn的UI更加人性化

2. 在CDP-DC中，默认的调度器从FairScheduler修改为CapacityScheduler。