k3s 在哪里存储 pod?
Posted
技术标签:
【中文标题】k3s 在哪里存储 pod?【英文标题】:Where is k3s storing pods? 【发布时间】:2020-03-31 08:17:50 【问题描述】:我找不到有关在节点上运行的 pod 的存储位置的信息……我知道它的临时文件,但如果我希望在特定存储或挂载点上创建它们怎么办?
从一个节点上的 df -h 我可以看到它已挂载:
shm 64M 0 64M 0% /run/k3s/containerd/io.containerd.grpc.v1.cri/sandboxes/a9d11117b319432fff833cda48e5dc16f88bcc28b8e8148077d607ddaf41dfab/shm
overlay 15G 1.9G 12G 14% /run/k3s/containerd/io.containerd.runtime.v1.linux/k8s.io/a9d11117b319432fff833cda48e5dc16f88bcc28b8e8148077d607ddaf41dfab/rootfs
overlay 15G 1.9G 12G 14% /run/k3s/containerd/io.containerd.runtime.v1.linux/k8s.io/ab8b17764bed69e2702565fa171fcc84defcab1de7093bd68f53581732ef39fb/rootfs
overlay 15G 1.9G 12G 14% /run/k3s/containerd/io.containerd.runtime.v1.linux/k8s.io/dc246f55de330a4a0d23da56bf7212008e49fe974302c664b930869544a58051/rootfs
tmpfs 396M 0 396M 0% /run/user/1000
但是在哪里设置它用于该挂载的根文件夹...我想要做的是指定例如 /cluster_tmp 作为部署在节点上的集群 pod 的主根...
我正在运行 rpi 集群,想使用 usb3 磁盘而不是 sd 卡进行存储,以减轻对卡的读/写...
【问题讨论】:
【参考方案1】:我相信 k3s 带有自己的 containerd 二进制文件和相关配置。通过显式安装 k3s,即调用“k3s server”命令,带有选项
--container-runtime-endpoint value (agent/runtime) Disable embedded containerd and use alternative CRI implementation
您可以指定根据您的需要配置的备用容器运行时,例如存储在不同的卷或分区中。
更多信息在k3s documentation
不过,关于你的具体想法,如果 U 盘消失了会怎样?
【讨论】:
【参考方案2】:/run
应该是 tmpfs,因此在内存中而不是在物理媒体上。报告的目录不是实际的存储。
鉴于您将大部分内容存储在 USB 存储设备上的目标,最简单的解决方案是将整个 k3s 数据目录移动到其中,使用 Documentation 的命令行选项 --data-dir
/-d
。这将强制 k3s 和嵌入式 containerd 将其所有工作文件和目录放在 USB 存储上。
【讨论】:
【参考方案3】:k3s 站在巨人的肩膀上。作为容器运行时,它使用 containerd。
containerd 使用自己的配置 toml 进行配置。见man 5 containerd-config
:
root : The root directory for containerd metadata. (Default: "/var/lib/containerd")
这就是/etc/containerd/config.toml
的样子:
root = "/var/lib/containerd"
state = "/run/containerd"
oom_score = 0
imports = ["/etc/containerd/runtime_*.toml", "./debug.toml"]
[grpc]
...
root
参数是您最感兴趣的。 Here你可以找到它的描述:
root
将用于为 containerd 存储任何类型的持久数据。容器和图像的快照、内容、元数据以及任何插件数据都将保存在此位置。根目录也被命名为容器加载的插件。每个插件都有自己的目录来存储数据。 containerd 本身实际上并没有任何需要存储的持久数据,它的功能来自加载的插件。
/var/lib/containerd/
├── io.containerd.content.v1.content
│ ├── blobs
│ └── ingest
├── io.containerd.metadata.v1.bolt
│ └── meta.db
├── io.containerd.runtime.v1.linux
│ ├── default
│ └── example
├── io.containerd.snapshotter.v1.btrfs
└── io.containerd.snapshotter.v1.overlayfs
├── metadata.db
└── snapshots
【讨论】:
也许这是最近的变化(目前正在运行 v1.20.2),但 K3S 似乎有自己的嵌入式容器实例(默认情况下)存储在/var/lib/rancher/k3s/agent/containerd/
。在我的机器上,/var/lib/containerd
似乎没有任何与 K3S 部署相关的工件。
它不再像@JamesMchugh所说的那样有效,图像存储在/var/lib/rancher/k3s/agent/containerd/
中。我尝试将/var/lib/rancher/k3s/agent/containerd/config.toml
更改为指向另一个位置(如记录的here),但它没有用。以上是关于k3s 在哪里存储 pod?的主要内容,如果未能解决你的问题,请参考以下文章