flink on yarn常见问题及解决方法汇总

Posted Z-hhhhh

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了flink on yarn常见问题及解决方法汇总相关的知识,希望对你有一定的参考价值。

Deployment took more than 60 seconds. Please check if the requested resources are available in the YARN cluster

这个报错很明显,告诉你yarn集群的资源不足了,需要手动加大资源

加大后重启YARN cluster

TimeoutException: Timeout has occurred

yarn资源不足的问题

①调整yarn

yarn-site.xml

<property>
<name>yarn.nodemanager.resource.memory-mb</name>
<value>26624</value>
</property>

②调整分配给job的内存
可以通过启动命令的参数调整

org.apache.flink.runtime.jobmanager.scheduler.NoResourceAvailableException:

没有可用的资源了
flink的安装目录下:/conf/flink-conf.yaml 添加如下配置:

taskmanager.network.memory.fraction: 0.1
taskmanager.network.memory.min: 268435456
taskmanager.network.memory.max: 4294967296

akka.remote.ReliableDeliverySupervisor

这种错误一般是 hadoop 集群资源(内存、磁盘、虚拟内存等等)不足造成的。
并且多数情况是由于分配的虚拟内存超出限制,可以关掉hadoop的检查虚拟内存,如下

<property>    
    <name>yarn.nodemanager.vmem-check-enabled</name>    
    <value>false</value>    
</property>

Slot request bulk is not fulfillable! Could not allocate the required slot within slot request timeout

无法在插槽请求超时内分配所需的插槽
解决:减少并发度或减少内存

以后遇到问题再持续更新。

以上是关于flink on yarn常见问题及解决方法汇总的主要内容,如果未能解决你的问题,请参考以下文章

flink on yarn常见问题及解决方法汇总

flink on yarn之per-job方式部署超时的一种解决方法

Flink on Yarn 远程 debug 应用提交流程及源码分析

Flink on Yarn两种模式启动参数及在Yarn上的恢复

Flink on yarn初步讲解

flink on yarn介绍