4. linux contos6.8下部署kafka集群

Posted 2020-11-21

有3台服务器，ip分别为192.168.174.10，192.168.174.11，192.168.174.12。

1. 官网下载，分别在每台机器上解压安装

   # 创建kafka的安装目录
   mkdir -p /usr/local/software/kafka
   # 解压
   tar -xvf kafka_2.12-1.1.0.tgz -C /usr/local/software/kafka/

2. 修改每台服务器的/etc/profile文件，设置kafka环境变量，添加如下内容

   export KAFKA_HOME=/usr/local/software/kafka/kafka_2.12-1.1.0
   export PATH=$PATH:$KAFKA_HOME/bin

   添加完后重启配置，命令如下：

   source /etc/profile

3. 修改每台服务器的$KAFKA_HOME/config下的server.properties文件，修改代理id和日志存放目录

   #指定代理id，borker.id可以任意指定，前提是保证集群内每台机器的broker.id唯一，第二台机器设置为2...以此类推
   broker.id=1
   #设置日志目录
   log.dirs=/opt/data/kafka/kafka-logs
   #设置zookeeper集群地址
   zookeeper.connect=192.168.174.7:2181,192.168.174.8:2181,192.168.174.9:2181
   #设置本机地址，设置为本服务器的ip地址。如果不设置会在创建主题和发送消息时，发生NOT LEADER FOR PARTITION异常。
   host.name=192.168.174.10

4. 配置完成后，分别启动3台服务器的kafka，启动kafka前确保zookeeper集群已经成功启动。

   kafka-server-start.sh -daemon server.properties

5. 验证是否成功启动

   jps

   如果看到kafka进程，说明启动成功。
   另外也可通过zookeeper客户端查看zookeeper目录结构，如下：

   #登录zookeeper
   zkCli . sh -server 192.168.174.7:2181
   #查看目录结构
   ls /
   #查看已启动的kafka代理
   ls /brokers/ids