是否可以配置KafkaConsumer（apache.kafka.kafka-clients）以通过代理与Kafka经纪人一起使用？

Posted 2021-04-30

我正在使用KafkaConsumer Java客户端与Kafka经纪人建立联系。我的用户可以在KafkaConsumer和代理之间定义一个代理（ip：port）。

----------------------         -------------         -----------------------
| Application client |  <--->  | TCP Proxy |  <--->  | Target (e.g. kafka) |
----------------------         -------------         -----------------------

没有代理，使用代理列表的配置'boostrap.servers'就足以建立初始连接。

我的问题是，我如何管理KafkaConsumer来通过代理初始化与代理的连接？ apache-Kafka是否提供这种支持？

我试图找到诸如[listeners'和'advertised.listeners'之类的属性，但是，它们是代理配置，我无法配置代理。

答案

TCP协议需要建立套接字握手，然后从上游Kafka请求事件，然后作为流响应转发回给请求的客户端...。

如果构建TCP协议对您来说太多了，那么您可以改用KAFKA REST代理。

或者，说明为什么不能直接连接到任何经纪人