FlinkFlink 消费 kafka retries和retry.backoff.ms 引起问题

Posted 九师兄

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了FlinkFlink 消费 kafka retries和retry.backoff.ms 引起问题相关的知识,希望对你有一定的参考价值。

本文为博主九师兄(QQ:541711153 欢迎来探讨技术)原创文章,未经允许博主不允许转载。

文章目录


1.概述

本问题是 【Kafka】kafka NotLeaderForPartitionException thisserver is not the leader for topic-partition 这个问题的解决方法。

先看看这两个参数的解释

生产者重试次数,默认值为0。消息在从生产者从发出到成功写入broker之前可能发生一些临时性异常,比如网络抖动、leader副本选举等,这些异常往往是可以自行恢复的,生产者可以配置retries的值,通过生产端的内部重试来恢复而不是一味的将异常抛给生产者;如果重试达到设定次数,生产者才会放弃重试并抛出异常。但是!并不是所有的异常都可以通过重试来解决,比如消息过大,超过max.request.size参数配置的数值。

重试

以上是关于FlinkFlink 消费 kafka retries和retry.backoff.ms 引起问题的主要内容,如果未能解决你的问题,请参考以下文章

FlinkFlink 消费 kafka 实现 限流处理 RateLimiter

FLinkFLink 消费 kafka 报错 Selector Close Connection Null NetworkReceive OOM 内存溢出

FlinkFlink 模拟 kafka 消费重启后 能接着读取 保存状态信息

FlinkFlink Kafka 消费卡死 消费组卡死 topic无写入 实际有数据 topic正常

flinkflink 消费组死掉 Lag不变 kafka不提交 重启恢复 非常诡异

FlinkFlink1.12.0 FlinkSQL消费Kafka 使用 temporal join 关联维表Hive 最新分区数据 join 不上