Kafka生产者——重要参数配置

Posted 2020-11-24 luckyhui28

tags:

篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了Kafka生产者——重要参数配置相关的知识，希望对你有一定的参考价值。

acks
max.request.size
retries和retry.backoff.ms
connections.max.idele.ms
linger.ms
receive.buffer.bytes
send.buffer.bytes
request.timeout.ms
enable.idempotence
bootstrap.servers

acks

这个参数用老指定分区中必须由多少个副本收到消息，之后生产者才会认为这条消息写入是成功的。acks参数有三种类型的值（都是字符串类型）。

acks=1 默认值为1.生产者发送消息之后，只要分区的leader副本成功的写入消息，生产端就会收到来自服务端的成功响应，说明发送成功。如果消息无法写入leader副本，比如在leader副本崩溃、重新选举新的leader副本的过程中，生产者就会收到一个错误的响应，为了避免消息丢失，生产者就会选择重发消息；如果消息写入leader副本并成功响应给生产者，并且在其他follower副本拉取之前leader副本崩溃，此时消息还会丢失，因为新选举的leader副本中并没有这条对应的消息。acks设置为1，是消息可靠性和吞吐量之间的这种方案。
acks=0 生产者发送消息之后，不需要等待任何服务端的响应。如果在消息从发送到写入kafka的过程中出现异常，导致kafka并没有收到消息，此时生产者是不知道的，消息也就丢失了。akcs设置为0时，kafka可以达到最大的吞吐量。
acks=-1或acks=all 生产者在消息发送之后，需要等待isr中所有的副本都成功写入消息此案能够收到服务端的成功响应。acks设置为-1，可以达到相对最强的可靠性。但这不一定是最可靠的，因为isr中可能就只有leader副本，这样就退化成了acks=1 的情况。

注意，acks参数是一个字符串类型，而不是一个整数类型。配置错误会报异常。

max.request.size

生产者客户端能发送消息的最大值，默认值为1048576B，1MB。不建议盲目修改，这个参数涉及其他的一些参数的联动，比如broker端的message.max.bytes参数，如果broker的message.max.bytes参数设置为10，而max.request.size设置为20，当发送一条大小为15B的消息时，生产者参数就会报错。

retries和retry.backoff.ms

生产者重试次数，默认值为0。消息在从生产者从发出到成功写入broker之前可能发生一些临时性异常，比如网络抖动、leader副本选举等，这些异常往往是可以自行恢复的，生产者可以配置retries的值，通过生产端的内部重试来恢复而不是一味的将异常抛给生产者；如果重试达到设定次数，生产者才会放弃重试并抛出异常。但是！并不是所有的异常都可以通过重试来解决，比如消息过大，超过max.request.size参数配置的数值。

重试还和参数retry.backoff.ms有关，默认值为100,用来设定两次重试之间的时间间隔，避免无效的频繁重试。在配置retries和retry.backoff.ms之前，最好先估算一下可能的异常恢复时间，这样可以设定总的重试时间要大于异常恢复时间，避免生产者过早的放弃重试。

connections.max.idele.ms

这个参数用来制动多久之后关闭限制的连接，默认值540000（ms），9分钟、。

linger.ms

这个参数用来指定生产者发送ProducerBatch之前等待更多的消息（ProducerRecord）假如ProducerBatch的时间，默认值为0。ProducerBatch在被填满或者时间超过linger.ms值时发送出去。增大这个参数的值回增加消息的延迟（消费端接收延迟），但能够提升一定的吞吐量。