Docker Kafka 数据清理

Posted Huige_shuai

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了Docker Kafka 数据清理相关的知识,希望对你有一定的参考价值。

一、删除没用的topic

# 进入kafka

docker exec -it $containerId /bin/bash

# 进入kafka/bin

cd opt/kafka_xxx/bin

# 查看kafka describe

kafka-topics.sh --describe --zookeeper $IP地址:$端口号/$containerId

# 删除无用的topic

kafka-topics.sh --delete --topic fillFile --zookeeper $IP地址:$端口号/$containerId

二、压缩wsl2磁盘

因为在docker的kafka容器中生产了大量数据,但是仅仅是删除kafka的topic,不会影响C:\\Users\\username\\AppData\\Local\\Docker\\wsl\\data\\ext4.vhdx磁盘大小(默认地址)。

 vhdx 后缀的虚拟磁盘文件特点可以自动扩容,但是一般不会自动缩容。所以就需要人为的压缩该磁盘。

# 新建一个命令行窗口

# 查看wsl2状态

wsl.exe --list --verbose

  NAME                                   STATE           VERSION
  docker-desktop                     Stopped         2
  docker-desktop-data             Stopped         2
  
# 需要state为stopped
# 关闭操作

wsl --shutdown

# 使用diskpart工具来压缩wsl2的虚拟磁盘(可能会发生数据损坏,依环境而定)
# 启动diskpart工具

diskpart

# 确定虚拟磁盘文件的位置

# $username = Administrator
# $vhdx文件名 = C:\\Users\\$username\\AppData\\Local\\Docker\\wsl\\data\\ext4.vhdx
select vdisk file="$vhdx文件名"

# 设置为只读(本次操作无需使用)

# attach vdisk readonly

# 压缩操作(等待压缩即可)

compact vdisk

# 显示以下,则表示压缩完成

100 百分比已完成
DiskPart 已成功压缩虚拟磁盘文件

# 退出diskpat

exit

# 可自行查看磁盘占用大小是否减小

以上是关于Docker Kafka 数据清理的主要内容,如果未能解决你的问题,请参考以下文章

转 kafka 清理数据

Kafka日志及Topic数据清理

Kafka日志及Topic数据清理

kafkakafka log 存储时间 小于 offset 存储时间 offset存在但是消费不到

Kafka日志清理相关设置

Mac 使用 docker 搭建 kafka 集群 + Zookeeper + kafka-manager