Flinkflink on yarn 并行度设置高导致任务失败

Posted 九师兄

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了Flinkflink on yarn 并行度设置高导致任务失败相关的知识,希望对你有一定的参考价值。

文章目录


1.概述

flink on yarn 并行度设置高了就失败有遇到过没,400的并行度就没事,设置成600就不断失败,是需要做什么额外的配置吗,比如网络缓冲?看报错日志没找到什么相关提示,版本是1.13.2


看了一下源码,发现是你启动的时候 改改初始化 或者 开始运行的时候失败的,感觉像是tm节点没起来就失败了。

其他错误如下


报错中的 这个域名看起来是正常的,能登陆到它,负载也不高,扫了下端口也可通,看样子像

以上是关于Flinkflink on yarn 并行度设置高导致任务失败的主要内容,如果未能解决你的问题,请参考以下文章

FlinkFlink中Key Groups与最大并行度

FlinkFlink on yarn 支持指定 application id 吗? yarn.application.id

FlinkFlink on yarn 远程调试

FlinkFlink on yarn 日志乱码问题

Flink on YARN时,如何确定TaskManager数

FlinkFlink on Yarn 翻译 使用 hdfs jar yarn.provided.lib.dirs