Kafka的Topic的partitions数目设置最佳实践

Posted

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了Kafka的Topic的partitions数目设置最佳实践相关的知识,希望对你有一定的参考价值。

参考技术A 翻译加整理~
How to choose the number of topics/partitions in a Kafka cluster

一般情况是数据吞吐决定,这里的吞吐的单位是MB/s,这里暂时不考虑kafka服务端的单partition的吞吐瓶颈,而是考虑Producer和Consumer两端的吞吐

生产者的吞吐和以下几个配置有关:

一般情况下,一个Producer的吞吐在10MB/s左右

Consumer的吞吐和用户逻辑强相关,所以需要consumer的业务逻辑实现方来评估consumer的吞吐能力

Given:

Result:

Partition是可以动态增加的,但是需要尽量在业务接入最初,对parttion数目做准确评估,因为不是所有的业务场景都适合做动态增加Partition数目操作。 对于Keyed messge, 可以配置消息会按照key的hash值做partition的路由,这也保证了相同的key的消息的消费是保序的。如果动态增加partition数目,可能会导致乱序问题。 对于这样的业务场景,一个安全的扩容方案是先停掉所有的producer, consumer全部消费完数据后,再做 add partition操作,然后在恢复producer的写入

对每台Broker来说,partition的数目不应该超过 100 * (num of brokers in cluster) * (replication-factor), 对于个10台broker,replication-factor=2的集群,单机partition的数目不应该超过 2000个~

确定Topic的一个合适的Partition数目很重要,太少了, producer或者consumer会出现读写平静,太多了,会引起其他问题

How to choose the number of topics/partitions in a Kafka cluster

如何查看kafka 各partition数据量

参考技术A 若没有分区,一个topic对应的消息集在分布式集群服务组中,就会分布不均匀,即可能导致某台服务器A记录当前topic的消息集很多,若此topic的消息压力很大的情况下,服务器A就可能导致压力很大,吞吐也容易导致瓶颈。 有了分区后,假设一个topic可...

以上是关于Kafka的Topic的partitions数目设置最佳实践的主要内容,如果未能解决你的问题,请参考以下文章

Kafka shell 查看指定topic partition offset的信息

Kafka源码分析 Topic与Partition使用

kafka的log存储解析——topic的分区partition分段segment以及索引

Maxwell采集数据到kafka

Kafka日志存储原理

Kafka Topic Partition GroupId 及高可用