kafka搭建

Posted 2020-11-16 leiwenbin627

依赖于zookeeper,先搭建好zookeeper

集群部署

1）解压安装包

tar -zxvf kafka_2.11-0.11.0.0.tgz

2）修改解压后的文件名称

mv kafka_2.11-0.11.0.0/  /usr/local/kafka

3）在/usr/local/kafka目录下创建logs文件夹

 mkdir logs

4）修改配置文件

cd config/

vi server.properties

#broker的全局唯一编号，不能重复

broker.id=1

#删除topic功能使能

delete.topic.enable=true

#处理网络请求的线程数量

num.network.threads=3

#用来处理磁盘IO的现成数量

num.io.threads=8

#发送套接字的缓冲区大小

socket.send.buffer.bytes=102400

#接收套接字的缓冲区大小

socket.receive.buffer.bytes=102400

#请求套接字的缓冲区大小

socket.request.max.bytes=104857600

#kafka运行日志存放的路径

log.dirs=/usr/local/kafka/logs

#topic在当前broker上的分区个数

num.partitions=1

#用来恢复和清理data下数据的线程数量

num.recovery.threads.per.data.dir=1

#segment文件保留的最长时间，超时将被删除

log.retention.hours=168

#配置连接Zookeeper集群地址

zookeeper.connect=zk1:2181,zk2:2181,zk3:2181

5）配置环境变量

 vi /etc/profile

#KAFKA_HOME

export KAFKA_HOME=/opt/module/kafka

export PATH=$PATH:$KAFKA_HOME/bin

 

source /etc/profile

6）其他节点部署

scp server.properties zk2:/usr/local/kafka/config/ 

scp /etc/profile zk2:/etc/

其他节点的server.properties中的broker.id=2、broker.id=3

注：broker.id不得重复

7）启动集群

依次在zk1,zk2,zk3节点上启动kafka

 bin/kafka-server-start.sh -daemon config/server.properties

8）关闭集群

 bin/kafka-server-stop.sh stop

 

 

Kafka命令行操作

1）查看当前服务器中的所有topic

 bin/kafka-topics.sh --zookeeper zk2:2181 --list

2）创建topic

 bin/kafka-topics.sh --zookeeper zk2:2181

--create --replication-factor 3 --partitions 1 --topic first

选项说明：

--topic 定义topic名

--replication-factor  定义副本数

--partitions  定义分区数,一般设置成broker的倍数

3）删除topic

 bin/kafka-topics.sh --zookeeper zk2:2181

--delete --topic first

需要server.properties中设置delete.topic.enable=true否则只是标记删除。

4）发送消息

bin/kafka-console-producer.sh

--broker-list zk1:9092 --topic first

>hello world

>atguigu  atguigu

5）消费消息

 bin/kafka-console-consumer.sh

--bootstrap-server zk3:9092 --from-beginning --topic first

--from-beginning：会把主题中以往所有的数据都读取出来。

6）查看某个Topic的详情

bin/kafka-topics.sh --zookeeper zk3:2181

--describe --topic first

7）修改分区数

bin/kafka-topics.sh --zookeeper zk3:2181 --alter --topic first --partitions 6