卡夫卡生产者 RecordTooLargeException

Posted 2023-03-10

【中文标题】卡夫卡生产者 RecordTooLargeException

【英文标题】：Kafka Producer RecordTooLargeException

【发布时间】：2017-02-21 22:58:01

【问题描述】：

我收到以下错误

org.apache.kafka.common.errors.RecordTooLargeException: 序列化时消息为 196773 字节，大于您使用 buffer.memory 配置配置的总内存缓冲区"

但我的生产者配置中的 buffer.memory 是 10485760

不知道为什么？谢谢

【问题讨论】：

当您的邮件大小超过 1 MB 时，您需要配置几个属性，默认为 1 MB，请查看***.com/questions/21020347/…

【参考方案1】：

我了解您在生产者配置中的 buffer.memory 大于您正在生成的消息的大小。但是，为了生成大小超过 1 MB 的消息，您需要维护的配置很少。

message.max.bytes -（每个代理）这是代理可以从生产者那里接收到的最大消息大小。max.message.bytes -（每个主题）这是代理允许附加到主题的最大消息大小。 （默认为经纪人的message.max.bytes。）

请通过以下链接了解更多详情： How can I send large messages with Kafka (over 15MB)?