如何在一个应用程序中使用两个未互连的 Kafka 代理？

Posted 2023-02-16

【中文标题】如何在一个应用程序中使用两个未互连的 Kafka 代理？

【英文标题】：How to work with two not interconnected Kafka brokers in one app?

【发布时间】：2017-08-08 07:38:05

【问题描述】：

我需要为一个主题在两个未互连的 Kafka 代理之间实现简单网关。我在生产中有一个 kerberized Kafka 集群和一个用于测试目的的具有普通身份验证的代理。网关应该使用生产集群中的一个主题，并从中生成消息到测试代理的指定主题。如何使用 KafkaClient 部分在单个 JAAS 文件中配置两个不同的客户端？还是可以通过编程方式完成？

【问题讨论】：

您是否有理由不只使用 Mirror Maker？

我是Kafka新手，所以不知道有没有Mirror Maker这样的工具。这正是我需要的。非常感谢

【参考方案1】：

你需要让一个消费者从一个集群中提取数据，一个生产者向另一个集群发送数据，生产者和消费者可能有不同的 Kafka 配置

【讨论】：

很明显，一个消费者和一个生产者具有不同的属性。如何从单个 jaas 文件中获取生产者和消费者的不同凭据？