KafkaKafka客户端分配方案

Posted 2022-02-12 九师兄

1.概述

翻译：Kafka Client-side Assignment Proposal

新的消费者目前依赖于服务器端consumer coordinator组成消费组的进程集，并根据某些消费组成员必须同意的分配策略将分区分配给消费组的每个成员。这保证了始group终具有一致的分配，并使consumer coordinator能够验证偏移量只来自拥有相应分区的消费者。然而，它依赖于服务器访问实现分配策略的代码，这有两个原因:

• 首先是为了方便。在不更新配置和重新启动集群的情况下，不能将新的分配策略部署到服务器。仅仅提供这样做的能力就可能是一项重要的操作任务。

• 不同的分配策略有不同的验证要求。例如，使用冗余分区方案，可以将单个分区分配给多个用户。这限制了协调器验证分配的能力，这是让协调器首先执行分配的主要原因之一。

如果新的分配用例很少，这可能是一个可行的解决方案，但是我们已经有许多需要对分配进行更多控制的情况。例如:

协同分区:当连接两个主题时(在KIP-28的上下文中)，有必要将来自多个主题的相同分区分配给相同的消费者。

<