FlinkFlink The rpc invocation size %d exceeds the maximum akka framesize
Posted 九师兄
tags:
篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了FlinkFlink The rpc invocation size %d exceeds the maximum akka framesize相关的知识,希望对你有一定的参考价值。
文章目录
1.概述
flink 1.10 作业在出错重启的过程中,jobmanager一直报 the rpc invocation size exceeds the maximum akka framesize
的错误
看了一下,这个方法是进行rpc远程调用的时候,序列化对象的大小超过了长度,但是我不是很明白,如果超过了这个长度,不是应该第一次启动的时候都不行吗?我设置的并行度是10,如果启动成功,会启动10个taskmanager,而且启动另外9个taskmanager都没有错,启动第10个的时候就会报错。
我是基于yarn来运行的。每个taskmanager一个slot。
2.源码分析
首先找到报错位置org.apache.flink.runtime.rpc.akka.AkkaInvocationHandler#createRpcInvocationMessage
protected RpcInvocation createRpcInvocationMes
以上是关于FlinkFlink The rpc invocation size %d exceeds the maximum akka framesize的主要内容,如果未能解决你的问题,请参考以下文章
Flinkflink 状态恢复 because the operator is not available in the new program
FlinkFlink LocalTransportException Sending the partition request to ‘null‘ failed
FlinkFlink 写入 kafka 报错 The server disconnected before a response was received