Jet Kafka负载平衡

Posted 2021-04-26

使用Jet 0.4，可以选择通过使用常见的group id来加载从Kafka主题读取的Jet实例。

使用当前的Jet 0.5，忽略此group.id值，我们如何防止Jet实例获取消息的副本？换句话说，我们希望在Jet实例中对工作负载（处理Kafka主题的消息）进行负载平衡，我们如何使用0.5进行此操作？

答案

Jet 0.5使用手动分区分配。即使在这种情况下，分区也会在成员之间平均分配，不会有重复。当它使用Kafka的分区分配时，有一个issue。