八、Kafka生产者调优

Posted 2023-03-23

参考技术A （Kafka 0.10.1 Documentation）

压缩源有两处可以设置：生产者、server，如果生产者开启压缩，你会注意到：变小了的生产者吐率和（或）更低的server压缩率，当收到压缩消息时，0.10.0server不会再压了，此举比再压相比会降低时延和提高吞吐率。然而，这会降低生产者的批大小（以前够一批的，一他妈压缩变半批了，又要马上送走），因此，这会导致更差的吞吐率，不过这没关系，可以调整linger（比如1ms）和batchsize，来提上去吞吐率。

此外，在生产者上压缩消息所用的内存buffer比在server上压缩消息所用的内存buffer小，因此，对于在logfile中压缩比来说，其实在生产者压缩不如在server上压缩更好，在未来版本中 这个用于压缩的 内存的大小 变成配置项。

另外，端到端的批量压缩概念，生产者压缩，server存log的是压缩之后东西，消费者解压缩，另外，最好让kafka压缩（不要使用跟kafka无关的压缩，需要kafka感知压缩才行，即可以生产者可以server），kafka可以批量压缩，批的越好压缩比越高，反之越差，切记。