为啥 kafka 生产者在第一条消息上很慢？

Posted 2023-02-26

【中文标题】为啥 kafka 生产者在第一条消息上很慢？

【英文标题】：Why kafka producer is very slow on first message?为什么 kafka 生产者在第一条消息上很慢？

【发布时间】：2021-01-21 12:01:07

【问题描述】：

我正在使用 kafka 生产者向主题发送价格。当我发送第一条消息时，它会打印生产者配置，然后发送消息，因此发送第一条消息需要更多时间。

在第一条消息之后，发送消息几乎不到 1/2 毫秒。

我的问题是我们可以做些什么让配置部分跳过或者我们可以在发送第一条消息之前开始吗？

我在我的项目中使用了 spring kafka。我也阅读了其他问题，但没有真正的帮助。

Application.yml

server:
  port: 8081
spring:
    kafka:
      bootstrap-servers:   ***.***.*.***:9092
      producer:
          key-serializer: org.apache.kafka.common.serialization.StringSerializer
          value-serializer: org.apache.kafka.common.serialization.StringSerializer
      

生产者价值观：

acks = 1
batch.size = 16384
bootstrap.servers = [192.168.1.190:9092]
buffer.memory = 33554432
client.dns.lookup = default
client.id = 
compression.type = none
connections.max.idle.ms = 540000
delivery.timeout.ms = 120000
enable.idempotence = false
interceptor.classes = []
key.serializer = class org.apache.kafka.common.serialization.StringSerializer
linger.ms = 0
max.block.ms = 60000
max.in.flight.requests.per.connection = 5
max.request.size = 1048576
metadata.max.age.ms = 300000
metric.reporters = []
metrics.num.samples = 2
metrics.recording.level = INFO
metrics.sample.window.ms = 30000
partitioner.class = class org.apache.kafka.clients.producer.internals.DefaultPartitioner
receive.buffer.bytes = 32768
reconnect.backoff.max.ms = 1000
reconnect.backoff.ms = 50
request.timeout.ms = 30000
retries = 2147483647
retry.backoff.ms = 100
sasl.client.callback.handler.class = null
sasl.jaas.config = null
sasl.kerberos.kinit.cmd = /usr/bin/kinit
sasl.kerberos.min.time.before.relogin = 60000
sasl.kerberos.service.name = null
sasl.kerberos.ticket.renew.jitter = 0.05
sasl.kerberos.ticket.renew.window.factor = 0.8
sasl.login.callback.handler.class = null
sasl.login.class = null
sasl.login.refresh.buffer.seconds = 300
sasl.login.refresh.min.period.seconds = 60
sasl.login.refresh.window.factor = 0.8
sasl.login.refresh.window.jitter = 0.05
sasl.mechanism = GSSAPI
security.protocol = PLAINTEXT
send.buffer.bytes = 131072
ssl.cipher.suites = null
ssl.enabled.protocols = [TLSv1.2, TLSv1.1, TLSv1]
ssl.endpoint.identification.algorithm = https
ssl.key.password = null
ssl.keymanager.algorithm = SunX509
ssl.keystore.location = null
ssl.keystore.password = null
ssl.keystore.type = JKS
ssl.protocol = TLS
ssl.provider = null
ssl.secure.random.implementation = null
ssl.trustmanager.algorithm = PKIX
ssl.truststore.location = null
ssl.truststore.password = null
ssl.truststore.type = JKS
transaction.timeout.ms = 60000
transactional.id = null
value.serializer = class org.apache.kafka.common.serialization.StringSerializer

我参考了以下问题但没有帮助。

Why is camel kafka producer very slow? Kafka producer is slow on first message

【问题讨论】：

你可以调整你的日志配置来静音 ProducerConfig，当然

【参考方案1】：

在第一次调用KafkaProducer.send 方法期间，Kafka 生产者获取主题的分区元数据。获取元数据会阻止 send 方法立即返回。 Kafka 生产者缓存元数据，因此后续发送要快得多。 Kafka 生产者缓存 metadata.max.age.ms 的元数据（默认 5 分钟），然后再次获取元数据以主动发现任何新的代理或分区。

当您的应用程序启动时，您可以调用KafkaProducer.partitionsFor 方法来获取和缓存元数据，但是当缓存在 5 分钟后过期时，下一次发送会很慢，因为它会再次获取元数据。如果您的 Kafka 环境是静态的，即在您的应用程序运行时没有创建新的代理和分区，那么请考虑将 metadata.max.age.ms 配置为非常长的持续时间，以便元数据在缓存中保存的时间更长。

【讨论】：

那么在发送消息之前有什么方法可以做到这一点吗？或者当项目开始的时候我们可以做。

我编辑了我的答案。没有通用的方法可以加快所有发送速度。

【参考方案2】：

第一条消息很慢是什么意思？ kafka send 是异步的，不应妨碍您自己的性能。它使用一个缓冲区来批量发送记录。

阅读下面的 java 文档了解更多信息，

https://kafka.apache.org/10/javadoc/org/apache/kafka/clients/producer/KafkaProducer.html

【讨论】：

KafkaProducer.send 方法的大多数调用将立即返回，但在第一次调用时，该方法将在获取主题的分区元数据时阻塞。