Kafka的Topic的partitions数目设置最佳实践
Posted
tags:
篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了Kafka的Topic的partitions数目设置最佳实践相关的知识,希望对你有一定的参考价值。
参考技术A 翻译加整理~How to choose the number of topics/partitions in a Kafka cluster
一般情况是数据吞吐决定,这里的吞吐的单位是MB/s,这里暂时不考虑kafka服务端的单partition的吞吐瓶颈,而是考虑Producer和Consumer两端的吞吐
生产者的吞吐和以下几个配置有关:
一般情况下,一个Producer的吞吐在10MB/s左右
Consumer的吞吐和用户逻辑强相关,所以需要consumer的业务逻辑实现方来评估consumer的吞吐能力
Given:
Result:
Partition是可以动态增加的,但是需要尽量在业务接入最初,对parttion数目做准确评估,因为不是所有的业务场景都适合做动态增加Partition数目操作。 对于Keyed messge, 可以配置消息会按照key的hash值做partition的路由,这也保证了相同的key的消息的消费是保序的。如果动态增加partition数目,可能会导致乱序问题。 对于这样的业务场景,一个安全的扩容方案是先停掉所有的producer, consumer全部消费完数据后,再做 add partition操作,然后在恢复producer的写入
对每台Broker来说,partition的数目不应该超过 100 * (num of brokers in cluster) * (replication-factor), 对于个10台broker,replication-factor=2的集群,单机partition的数目不应该超过 2000个~
确定Topic的一个合适的Partition数目很重要,太少了, producer或者consumer会出现读写平静,太多了,会引起其他问题
How to choose the number of topics/partitions in a Kafka cluster
如何查看kafka 各partition数据量
参考技术A 若没有分区,一个topic对应的消息集在分布式集群服务组中,就会分布不均匀,即可能导致某台服务器A记录当前topic的消息集很多,若此topic的消息压力很大的情况下,服务器A就可能导致压力很大,吞吐也容易导致瓶颈。 有了分区后,假设一个topic可...以上是关于Kafka的Topic的partitions数目设置最佳实践的主要内容,如果未能解决你的问题,请参考以下文章
Kafka shell 查看指定topic partition offset的信息