FlinkFlink The rpc invocation size %d exceeds the maximum akka framesize

Posted 九师兄

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了FlinkFlink The rpc invocation size %d exceeds the maximum akka framesize相关的知识,希望对你有一定的参考价值。

文章目录


1.概述

flink 1.10 作业在出错重启的过程中,jobmanager一直报 the rpc invocation size exceeds the maximum akka framesize 的错误

看了一下,这个方法是进行rpc远程调用的时候,序列化对象的大小超过了长度,但是我不是很明白,如果超过了这个长度,不是应该第一次启动的时候都不行吗?我设置的并行度是10,如果启动成功,会启动10个taskmanager,而且启动另外9个taskmanager都没有错,启动第10个的时候就会报错。

我是基于yarn来运行的。每个taskmanager一个slot。

2.源码分析

首先找到报错位置org.apache.flink.runtime.rpc.akka.AkkaInvocationHandler#createRpcInvocationMessage

 protected RpcInvocation createRpcInvocationMes

以上是关于FlinkFlink The rpc invocation size %d exceeds the maximum akka framesize的主要内容,如果未能解决你的问题,请参考以下文章

FlinkFLink 通讯组件 RPC

FlinkFlink 源码之RPC调用

FlinkFlink akka RPC 相关解读

Flinkflink 状态恢复 because the operator is not available in the new program

FlinkFlink LocalTransportException Sending the partition request to ‘null‘ failed

FlinkFlink 写入 kafka 报错 The server disconnected before a response was received