kafka配置KAFKA_LISTENERS和KAFKA_ADVERTISED_LISTENERS

Posted 2023-03-27

参考技术A kafka配置KAFKA_LISTENERS和KAFKA_ADVERTISED_LISTENERS

介绍kafka的两个参数KAFKA_LISTENERS和KAFKA_ADVERTISED_LISTENERS

主要在kafka需要部署在container里面时必须要注意用到。

配置KAFKA_LISTENERS=PLAINTEXT://:9092

因为这种场景下主机都是明确的，对谁都一样；任何人都可以通过<hostname>:9092访问kafka。

因为container里面的主机和端口，只有和container在同一个网络里的主机才能访问，而默认情况下container所在的宿主机是访问不了的。

例如：KAFKA_LISTENERS=PLAINTEXT://:9092， 那么：

那么如何在宿主机上访问呢？
首先想到要把端口映射出来：9092:9092，把kafka container的端口9092映射到主机上的9092；

再试一下宿主机上：localhost:9092，这时是可以成功的。
换一个用法：<hostname>:9092，既然都映射出来的，我不用localhost而用真正的主机名行不行呢，答案是不行的，是不是很吃惊。这就引发另一个问题，和宿主机在同一个网络的其他物理主机也不能访问kafka了，因为不能通过hostname:9092的地址访问啊。

原因是什么呢？
这里我们就要提到KAFKA_ADVERTISED_LISTENERS的使用。
其实kafka客户端访问kafka是分两步走：

kafka对这两个参数的说明：

结合我们的例子：

如何让外部其他主机也能访问。
方案已经很明确了，就是发布一个KAFKA_ADVERTISED_LISTENERS到所有人都认识的地址。

这样不管是谁都通过统一的<宿主主机>:9092地址来访问kafka。

让容器网络上的主机访问一个kafka地址，让宿主机网络上的主机访问另一个kafka地址，实现内外地址分离。

主要INSIDE和OUTSIDE不是保留字，只是普通标识，可以任意取名，解释在KAFKA_LISTENER_SECURITY_PROTOCOL_MAP。