Kafka集群常见的跨网络访问详解

Posted 2022-07-12

场景说明：
当客户端与服务端在不同区域（跨防火墙，地址均做了映射）时，客户端访问kafka时会出现获取不到broker的问题，但是网络之间是互通的。但在跨防火墙下，client请求zookeeper的时候，zookeeper返回给client的broker IP是kafka的实际地址，而不是映射地址，因此client会访问失败。

解决方式一、
1、配置文件：listeners=PLAINTEXT://主机名:9092
2、服务端hosts：内网地址 主机名
3、客户端hosts ：外网地址 主机名

注意事项：不安全，且配置复杂不统一

解决方式2：（案例）
1、注释：
listeners=PLAINTEXT://192.168.111.134:9092

添加：

   inter.broker.protocol.version=1.0
   log.message.format.version=1.0
   advertised.listeners=INSIDE://192.168.111.134:9092,OUTSIDE://node7:9093
   listeners=INSIDE://192.168.111.134:9092,OUTSIDE://node7:9093
   listener.security.protocol.map=INSIDE:PLAINTEXT,OUTSIDE:PLAINTEXT
   inter.broker.listener.name=INSIDE

解释：相当于开通2个端口，如果服务器多网卡可以主机名部分填写外网地址。
如果采用统一管理，可采用主机名解析，用nginx代理。
上面的变更，需要3台重启集群重启生效，zk监听地址不一样了，如图（所以要考虑到业务，建议标准化配置）

2、服务端hosts
内网地址 主机名 （这里采用域名解析）

 注意：官网也提供了安全加密，非文本加密方式，如果kafka和zk都要求安全，建议参考官网统一配置

官网相关参数解释：

host.name：

advertised.host.name：
advertised.listeners：
listeners：