flink on yarn常见问题及解决方法汇总

Posted 2022-11-30 Z-hhhhh

Deployment took more than 60 seconds. Please check if the requested resources are available in the YARN cluster

这个报错很明显，告诉你yarn集群的资源不足了，需要手动加大资源

加大后重启YARN cluster

TimeoutException: Timeout has occurred

yarn资源不足的问题

①调整yarn

yarn-site.xml

<property>
<name>yarn.nodemanager.resource.memory-mb</name>
<value>26624</value>
</property>

②调整分配给job的内存
可以通过启动命令的参数调整

org.apache.flink.runtime.jobmanager.scheduler.NoResourceAvailableException:

没有可用的资源了
flink的安装目录下：/conf/flink-conf.yaml 添加如下配置：

taskmanager.network.memory.fraction: 0.1
taskmanager.network.memory.min: 268435456
taskmanager.network.memory.max: 4294967296

akka.remote.ReliableDeliverySupervisor

这种错误一般是 hadoop 集群资源（内存、磁盘、虚拟内存等等）不足造成的。
并且多数情况是由于分配的虚拟内存超出限制，可以关掉hadoop的检查虚拟内存，如下

<property>    
    <name>yarn.nodemanager.vmem-check-enabled</name>    
    <value>false</value>    
</property>

Slot request bulk is not fulfillable! Could not allocate the required slot within slot request timeout

无法在插槽请求超时内分配所需的插槽
解决：减少并发度或减少内存

以后遇到问题再持续更新。