Kafka消费不及时

Posted 2023-03-03 广林居

消费者端开启debug模式，耗时时间比较长，超过了session.timeout.ms的默认45s时间，这样kafka会把该消费者移除，消费者端重启后会恢复。

同时，由于消费者被移除，导致kafka认为发生了消费失败，该条消息的offset 并未提交，下次重启时，该条消息和后续产生的消息都会发给消费者。

request.timeout.ms = 60 * 1000 * 4
max.poll.interval.ms = 60 * 1000 * 6
session.timeout.ms = 60 * 1000 * 3
heartbeat.interval.ms = 60 * 1000 * 2

session.timeout.ms: 检查整个消费者死亡超时时间
heartbeat.interval.ms: 心跳检查超时时间，但通常应设置为不高于session.timeout.ms的1/3
max.poll.interval.ms: 检查消费者处理线程死亡
request.timeout.ms: 请求超时时间，和上面三个没有依赖关系