kafka过滤/动态主题创建

Posted 2021-04-26

我正在研究kafka，火花流媒体并试图实现和解。

制作者消息：由'，'分隔的大约5个字段，其中一个是UUID（唯一标识符）ex：A，B，producer，UUID_1，E

消费者消息：由'，'分隔的大约5个字段，其中一个是UUID ex：A，B，consumer，UUID_1，E

这里UUID是生产者和消费者之间的关系，它是动态的

在kafka中，我需要某种过滤，通过该过滤，所有特定的生产者/消费者消息将在一个特定主题或分区中。

我有一个想法如下，但无法实现它：

根据我的研究，不允许动态分区，这是正确的吗？

所以我看到的唯一选择是，根据收到的UUID创建一个动态主题，然后将每个UUID特定消息路由到该主题，消息消费后，需要删除主题。这是正确的方法，如果是，如何实现这一目标？

答案

根据我的研究，不允许动态分区，这是正确的吗？

分区可以增加，但不能减少。

根据收到的UUID创建动态主题

不要这样做，它违反了Topic语义，Topic意味着同样的消息。 只需将“UUID_1”设置为消息“密钥”字段，因为Kafka将相同的“密钥”消息发送到相同的“分区”，并将其分配给“密钥”的散列。