Kafka-分区分配规则

Posted enzodin

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了Kafka-分区分配规则相关的知识,希望对你有一定的参考价值。

Kafka-分区分配规则

kafka的基本存储单元是分区。分区无法在多个broker间进行再细分,也无法在同一个broker的多个磁盘上进行再细分。所以,分区的大小受到单个挂载点可用空间的限制

在配置kafka的时候,使用log.dirs参数来配置用于存储分区的目录清单。

分区分配

在创建主题时,kafka首先会决定如何在broker间分配分区。假设我们有6broker,打算创建一个包含10个分区的主题,并且复制系数为3.那么kafka就会有30个分区副本,他们可以被分配给6broker

在进行分区分配时,要达到如下的目标:

1.broker间平均地分布分区副本。上述例子中,也就是要保证每个broker可以分到5个副本。

2.确保每个分区的每个副本分布在不同的broker上。假设分区0的首领副本在broker2上,那么可以把跟随者副本放在broker3broker4上,但不能放在broker2上,也不能两个都放在broker3上。

3.如果为broker指定了机架信息,那么尽可能把每个分区的副本分配到不同机架的broker上。这样做是为了保证一个机架的不可用不会导致整体的分区不可用。

为了实现这一目标,我们先随机选择一个broker(假设是broker4),然后使用轮训的方式给每个broker分配分区来确定首领分区的位置。于是,首领分区0会在broker4上,首领分区1会在broker5上,首领分区2会在broker0上,并以此类推。接下来是分配跟随者副本。如果分区0的首领在broker4上,那么它的第一个跟随者副本会在broker5上,第二个跟随者副本会在broker0上。分区1的首领在broker5上,那么它的第一个跟随者副本在broker0上,第二个跟随者副本在broker1上。

如果配置了机架信息,那么就不是按照数字顺序来选择broker了,而是按照交替机架的方式来选择broker。假设broker0broker1broker2放置在同一个机架上,broker3broker4broker5分别放置在其它不同的机架上。我们不是按照0-5的顺序来选择broker,而是按照031425的顺序来选择,这样每个相邻的broker都在不同的机架上。于是,如果分区0的首领在broker4上,那么第一个跟随者副本会在broker2上,这两个broker在不同的机架上。如果第一个机架下线,还有其他副本仍然活跃着,所以分区仍然可用。

为分区和副本选好合适的broker之后,接下来要决定这些分区应该使用哪个目录。我们单独为每个分区分配目录,规则很简单:计算每个目录里的分区数量,新的分区总是被添加到数量最小的那个目录里。

以上是关于Kafka-分区分配规则的主要内容,如果未能解决你的问题,请参考以下文章

Kafka源码级解析:kafka对消费者分配分区规则

Kafka源码级解析:kafka对消费者分配分区规则

Kafka 分区分配计算(分区器 Partitions )

分布式实时消息队列Kafka

Kafka-分区分配策略

Kafka分区分配策略