【kafka】kafka数据迁移、分区副本重分配

Posted 2023-03-26

参考技术A 关键参数--generate
在进行分区副本重分配之前,最好是用下面方式获取一个合理的分配文件;
编写move-json-file.json文件; 这个文件就是告知想对哪些topic进行重新分配的计算。

然后执行下面的脚本,--broker-list "0,1,2" 这个参数是你想要分配的Brokers。

执行完毕之后会打印：

需求注意的是，此时分区移动尚未开始，它只是告诉你当前的分配和建议。保存当前分配，以防你想要回滚它。

关键参数--execute将上面得到期望的重新分配方式文件保存在一个json文件里面 reassignment-json-file.json

kafka并没有提供一个专门的脚本来支持副本的扩缩, 不像kafka-topic.sh脚本一样,是可以扩分区的;
想要对副本进行扩缩,只能是曲线救国，利用kafka-reassign-partitions.sh来重新分配副本。

假设我们当前的情况是 3分区1副本,为了提供可用性,我想把副本数升到2;

计算副本分配方式
我们用 --generate 获取一下当前的分配情况,得到如下json

数据迁移、分区副本重分配、跨路径迁移、副本扩缩容
https://developer.aliyun.com/article/785752
https://www.szzdzhp.com/kafka/op/op-partition-reasignment.html

kafka最小成本的扩缩容副本设计方案
https://blog.csdn.net/u010634066/article/details/120931626

你不知道的kafka配置broker.id
https://cloud.tencent.com/developer/news/378568

json 格式化校验
https://www.bejson.com

kafka修改分区、副本数、副本迁移
https://sukbeta.github.io/kafka-Modify-Partitions-and-ReplicationFactor

kafka扩容副本数
https://www.cnblogs.com/mysql-hang/articles/14327103.html

Kafka扩分区和分区副本重分配之后消费组会自动均衡吗？

作者：石臻臻, CSDN博客之星Top5、Kafka Contributor 、nacos Contributor、华为云 MVP ,腾讯云TVP, 滴滴Kafka技术专家 、 KnowStreaming PMC)。

---

Know Streaming 是滴滴开源的Kafka运维管控平台, 有兴趣一起参与参与开发的同学,但是怕自己能力不够的同学,可以联系我,带你一起你参与开源！ 。
KnowStreaming 体验环境请访问：https://demo.knowstreaming.com/

最近有个靓仔问我, 扩分区之后 消费组会不会重新平衡呢？