kafka常规及几个重要的操作命令

Posted 2021-02-17 jiashengmei

1. 查看所有topic

kafka-topics.sh --zookeeper hadoop3 --list

2. 创建tooic及topic的partitioner

./kafka-topics.sh --zookeeper hadoop3:2181,hadoop4:2181,hadoop5:2181,hadoop6:2181,hadoop7:2181,hadoop8:2181,hadoop9:2181 --create --topic check-data --partitions 21 --replication-factor 2
说明:在集群模式中，partitioner可以根据集群节点的磁盘空间大小和kafka server这个配置log-dir=/data/kafka-log,/data01/kafka-log,/data02/kafka-log两个结合来控制partitions个数，这样做可以提高性能和避免一个partitions被撑爆

3. 查看kafka中的偏移量

kafka-run-class.sh kafka.tools.GetOffsetShell --broker-list ynjz003:9092,ynjz004:9092,ynjz005:9092,ynjz006:9092,ynjz007:9092,ynjz008:9092,ynjz009:9092 --topic ynjz-data --time -1
说明:该条命令可以查看到kafka的每个partitioner的位置的偏移量，通过这个可以看出kafka的数据摄入能力和大概的数据容量

4. 设置kafka topic 创建数据保存时间:

kafka-configs.sh --zookeeper ynjz003:2181,ynjz004:2181,ynjz005:2181,ynjz006:2181,ynjz007:2181,ynjz008:2181,ynjz009:2181 --entity-type topics --entity-name statistics-data --alter --add-config retention.ms=259200
说明:如果不设置的话，卡夫卡默认保存时间是7天，但在数据量过大，实时处理过程中为了减少数据的积压没必要保存7天，可以根据以上命令设置某个topic数据保存的时间，最后一个参数的单位是秒

5. 删除topic及topic的数据

这块较为复杂，可以参考这篇博客 https://blog.csdn.net/belalds/article/details/80575751