卡夫卡消费者配置

Posted

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了卡夫卡消费者配置相关的知识,希望对你有一定的参考价值。

如何配置使用者,以便在单次轮询中一次轮询50条记录。我已经创建了max_poll_records设置为50的消费者。但我的消费者在时间消耗单个记录。配置消费者以便它在单个轮询中获取50个记录。

答案

设置max.poll.records时,使用者最多返回配置的最大记录数。比如说,如果您的主题包含1000个未读记录且max.poll.records设置为50,那么消费者将在每个poll调用中仅返回50条记录。但是,如果您的主题仅包含5个未读记录,则会立即返回5条记录。

如果要批量处理记录,则可能必须在列表中累积记录,然后在大小到达时处理它。注意:您必须禁用自动提交,并且应在处理完所有50条记录后手动提交。

以上是关于卡夫卡消费者配置的主要内容,如果未能解决你的问题,请参考以下文章

卡夫卡消费者不阅读消息

卡夫卡长轮询

卡夫卡消费者不是从最新消息开始

卡夫卡消费者:受控阅读主题

卡夫卡与cloudera TLS失败

卡夫卡流与卡夫卡消费者如何决定使用啥