Flink 实战系列Flink on yarn 为什么 Allocated CPU VCores 显示不正确?
Posted JasonLee实时计算
tags:
篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了Flink 实战系列Flink on yarn 为什么 Allocated CPU VCores 显示不正确?相关的知识,希望对你有一定的参考价值。
Flink on yarn 为什么 Allocated CPU VCores 显示不正确?
一直有朋友问我这样的问题,在 flink on yarn 集群环境下,提交任务到 yarn,一个 TM 不管我设置多少个 slot,yarn 的 UI 界面 Allocated CPU VCores 一直显示的都是 1 呢?这个问题被问到了好多次,今天就来详细的解释一下原因。
demo
比如用下面的命令提交一个 Flink 任务:
flink run -d --target yarn-per-job \\
-Dyarn.application.name=FlinkStreamingBroadcastmysqlDemo \\
-Dyarn.application.queue=flink \\
-Dpipeline.name=FlinkStreamingBroadcastMysqlDemo \\
-Dmetrics.reporter.promgateway.groupingKey="job_name=t
以上是关于Flink 实战系列Flink on yarn 为什么 Allocated CPU VCores 显示不正确?的主要内容,如果未能解决你的问题,请参考以下文章
Flink on Zeppelin 系列之:Yarn Application 模式支持
Flink on Yarn 远程 debug 应用提交流程及源码分析