尝试升级到 flink 1.3.1 时出现异常

Posted 2023-03-10

【中文标题】尝试升级到 flink 1.3.1 时出现异常

【英文标题】：Exception when trying to upgrade to flink 1.3.1

【发布时间】：2018-08-08 09:22:57

【问题描述】：

我尝试将集群中的 flink 版本升级到 1.3.1（以及 1.3.2），但在任务管理器中出现以下异常：

2018-02-28 12:57:27,120 ERROR org.apache.flink.streaming.runtime.tasks.StreamTask           - Error during disposal of stream operator.
org.apache.kafka.common.KafkaException: java.lang.InterruptedException
        at org.apache.kafka.clients.producer.KafkaProducer.close(KafkaProducer.java:424)
        at org.apache.flink.streaming.connectors.kafka.FlinkKafkaProducerBase.close(FlinkKafkaProducerBase.java:317)
        at org.apache.flink.api.common.functions.util.FunctionUtils.closeFunction(FunctionUtils.java:43)
        at org.apache.flink.streaming.api.operators.AbstractUdfStreamOperator.dispose(AbstractUdfStreamOperator.java:126)
        at org.apache.flink.streaming.runtime.tasks.StreamTask.disposeAllOperators(StreamTask.java:429)
        at org.apache.flink.streaming.runtime.tasks.StreamTask.invoke(StreamTask.java:334)
        at org.apache.flink.runtime.taskmanager.Task.run(Task.java:702)
        at java.lang.Thread.run(Thread.java:748)
Caused by: java.lang.InterruptedException
        at java.lang.Object.wait(Native Method)
        at java.lang.Thread.join(Thread.java:1252)
        at java.lang.Thread.join(Thread.java:1326)
        at org.apache.kafka.clients.producer.KafkaProducer.close(KafkaProducer.java:422)
        ... 7 more

作业管理器显示与任务管理器连接失败。

我正在使用FlinkKafkaProducer08。 有什么想法吗？

【问题讨论】：

我认为在 flink 1.3.1 中，他们会在实际实例化它们之前尝试关闭操作符。我想问题出在 kafka-producer 上，我也遇到了这个问题，阻止我从 1.2 升级到 1.3.1

你运行的是哪个版本的 Kafka？

@diegoreico 0.8.2

你启用了 Flink Checkpointing 吗？ ci.apache.org/projects/flink/flink-docs-release-1.3/dev/…

请尝试添加更多关于您正在做什么的信息，例如您如何连接到 Kafka。

【参考方案1】：

首先，从上面的堆栈跟踪来看：它是在操作员清理非优雅终止期间抛出的（否则不会执行此代码）。看起来好像应该紧跟着导致最初问题的真正异常。你能提供更多的日志部分吗？

如果 JobManager 未能连接到应该运行您的作业的任何 TaskManager，整个作业将被取消（并根据您的重试策略重试）。同样的情况也可能发生在您的 TaskManager 端。这可能是根本原因，需要进一步调查。