kafka随笔
Posted 倾听与积累
tags:
篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了kafka随笔相关的知识，希望对你有一定的参考价值。
1.kafka 自0.10 开始提供了一个配置参数 max.poll.records 来控制每次poll消息的条数,解决了之前版本存在的无法有效控制consumer消费速度的问题.
文章链接:https://cwiki.apache.org/confluence/display/KAFKA/KIP-41%3A+KafkaConsumer+Max+Records
文章中提到,当producer大量发送消息时,consumer poll 一次的消息数量可能会很多,如果消费不及时,导致session time out,则会导致broker端认为consumer出现问题,将consumer端剔除,而consumer消费的消息由于time out 也没有commit,从而出现重复消费的问题.
文章中还提到,对于之前版本有两种解决方法,但都不够友好. (1)拉长session time out时间 (2)max.partition.fetch.bytes 减小一次从分区拉取字节数
以上是关于kafka随笔的主要内容，如果未能解决你的问题，请参考以下文章