docker容器中修改kafka中的partition配置

Posted 2023-01-14 来一只烤虾

本篇文章的问题来源

今天在数据回放模块时,发现一个问题:spring框架往kafka 写数据时topic可以自动创建，默认写入0号分区;
如果想写入多个分区，需要手动创建partition，数据才会写入成功.

解决方案

1:docker ps #查看当前doker中的容器

2:docker exec -it 172b89cca6cb /bin/bash # 进入容器bash
这里 docker exec -it 172b89cca6cb/kafka(都可以) 容器id/容器name 命令
3:进入后执行ls,查看当前文件夹内容 (这里执行ll命名无效,因为 bin目录下面并没有ll命令)

4:进入/opt/kafka/bin/目录下执行kafka命令(也可以直接在根目录下带上前缀直接执行kafka命令,这里采用的是在bin目录下操作的方式)

5:进入bin目录后执行下面的命令
./kafka-topics.sh --zookeeper 172.17.2.125 --list #查看当前broker中所有的topic,如果知道要操作的topic,可以直接跳过这一步

6:./kafka-topics.sh --zookeeper 172.17.2.125 --alter --topic nanjingjxz-dev-e2r_v2x_up_vehicle_realtime --partitions 6 # 修改partition数量