FlinkFlink Kafka 消费卡死消费组卡死 topic无写入实际有数据 topic正常

Posted 2021-06-27 九师兄

tags:

篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了FlinkFlink Kafka 消费卡死消费组卡死 topic无写入实际有数据 topic正常相关的知识，希望对你有一定的参考价值。

在这里插入图片描述

1.概述

今天遇到一个问题，非常的奇怪。

我一个FLink程序突然不消费数据了。确认有数据正在往kakfka中写入数据，在broker监控中，可以看到确实在写入。
在这里插入图片描述
然后在topic看，发现数据没有写入

flink 读取不到数据，flink流任务没有报错，这个

然后查看消费组卡死

在这里插入图片描述

查看topic详情是正常的

以上是关于FlinkFlink Kafka 消费卡死消费组卡死 topic无写入实际有数据 topic正常的主要内容，如果未能解决你的问题，请参考以下文章

flinkflink 消费组死掉 Lag不变 kafka不提交重启恢复非常诡异

FlinkFlink 消费 kafka 实现限流处理 RateLimiter

FLinkFLink 消费 kafka 报错 Selector Close Connection Null NetworkReceive OOM 内存溢出

FlinkFlink 模拟 kafka 消费重启后能接着读取保存状态信息

FlinkFlink 消费 kafka retries和retry.backoff.ms 引起问题

FlinkFlink使用默认的connector无法指定ConsumerRebalanceListener