linux 怎样查看kafka的某 topic数据

Posted 2023-03-04

参考技术A

1、创建一个需要增加备份因子的topic列表的文件，文件格式是json格式的。

2、使用kafka官方提供的工具拿到上面topic的partions 分布情况，并重定向到文件中。

3、修改ressgintopic.conf 文件的，手动分配新增加的partion 备份因子。

4、通过下面命令执行备份因子扩容过程，bin/kafka-reassign-partitions.sh --zookeeper localhost:2181 --reassignment-json。

5、最后查看kafka的某 topic数据如图。

注意事项：

Kafka的目的是通过Hadoop的并行加载机制来统一线上和离线的消息处理，也是为了通过集群来提供实时的消息。