kafka单机部署文档

Posted 2020-09-26 枫红一叶

单机Kafka部署文档

最简单的使用方式，单机，使用自带的zookeeper

1.解压

下载地址：http://pan.baidu.com/s/1i4K2pXr

tar –zxvf kafka_2.10-0.10.0.1.tgz

2.修改配置

vim config/server.properties

修改项如下（有则修改，无则添加）：

host.name=你的ip

listeners=PLAINTEXT://你的ip:9092

advertised.listeners=PLAINTEXT://你的ip:9092

zookeeper.connect=你的ip:2181

3.启动 (nohub 和 最后的 &都是为了后台启动，避免ctrl+c 或者关闭链接而kill)

启动zookeeper：nohup bin/zookeeper-server-start.sh config/zookeeper.properties 1>zookeeper.log 2>zookeeper.err &

启动kafka：nohup bin/kafka-server-start.sh config/server.properties &

4.创建topic 并查看

创建topic：bin/kafka-topics.sh --create --topic test --replication-factor 1 --partitions 1 --zookeeper Slave1:2181

查看list：bin/kafka-topics.sh --zookeeper 127.0.0.1:2181 --list

5.验证（收发消息）

发：bin/kafka-console-producer.sh --broker-list 你的IP:9092 –topic test

收：bin/kafka-console-consumer.sh --zookeeper  127.0.0.1:2181  --from-beginning --topic test

6.可能存在的问题

启动失败

1. 报错说没有log.dirs=/tmp/kafka-logs，这个目录没有写权限，这时就得ll检查一下权限了，比如我用root安装，用work启动，就会遇到此问题
2. 收不到消息：连不上zookeeper，但是zookeeper进程在，可能是因为 步骤2 没有修改IP，原因是kafk会自动获取，可能会获取出错。
3. 假死：进程在，但是无法使用，或者调用 bin/zookeeper-server-stop.sh 和bin/kafka-server-stop.sh后进程依然在，就ps –ef | grep kafka , ps –ef | grep zookeeper手动kill -9 一下