K8S-磁盘配额管理-整理

Posted 2020-12-11 qgbk2018

tags:

篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了K8S-磁盘配额管理-整理相关的知识，希望对你有一定的参考价值。

1. ephemeral-storage介绍

Kubernetes在1.8的版本中引入了一种类似于CPU，RAM的新的资源模式：ephemeral-storage属性（直译为临时存储），并且在1.10的版本kubelet默认启用了这个特性。

ephemeral-storage实现了对Pod应用存储资源的管理，可以有效的降低Pod应用失控消耗完 node磁盘空间的风险。官网中对该属性的描述如下：

（https://kubernetes.io/docs/concepts/configuration/manage-resources-containers/）：

技术图片

从上述官网介绍，总结如下：

临时存储：临时的含义是指容器内的数据未做持久化处理，生命周期和容器一致。
作用对象：容器日志（/var/log）、EmptyDir类型的volume数据（/var/lib/kubelet）、镜像层和容器可写层（/var/lib/docker）。由此可见，基本覆盖了Pod各个方面的磁盘消耗。
管理的文件系统：ephemeral-storage对kubelet的根目录(默认是/var/lib/kubelet)所在的节点分区（文件系统）进行管理，即如果把/var/lib/docker独立分区，ephemeral-storage将不对/var/lib/docker目录进行管理。
Pod调度流程：节点上的kubelet启动的时候，kubelet会统计当前节点的kubelet分区的可分配的磁盘资源，或者你可以覆盖节点上kubelet的配置来自定义可分配的资源。在创建Pod时会根据存储需求调度到满足存储的节点，在Pod使用超过限制的存储时会对其做驱逐的处理来保证不会耗尽节点上的磁盘空间。

2. ephemeral-storage功能验证

2.1 环境准备

虚拟机配置

1）规格：16 vCpu + 80 GB RAM + 1000 GB 磁盘

2）分区：/var/lib/docker、/var/lib/kubelet/和/var/log全在同一个系统分区上

技术图片

测试容器镜像

1） Dockerfile

FROM ubuntu:16.04
ADD start.sh /home/
RUN mkdir -p /lq/log/
ENTRYPOINT /home/start.sh

2） Start.sh

#!/bin/bash
while true
do
dateString=`date`
echo "$dateString==================================">> /lq/log/test.log
done

集群环境

1） Kuberneters版本：1.15.6

2） Docker版本：18.06

2.2 容器可写层大小

容器的部署文件

技术图片

说明：

1）容器的启动脚本start.sh会持续的向容器内路径/lq/log下写test.log日志

2）该日志并未挂载出来，故日志文件在宿主机的容器可写层目录下

3）该容器申请10Mi的磁盘空间，上限为20Mi

创建该Pod

使用kubectl apply -f xxxx.yaml，观察可写层日志大小情况以及Pod运行情况

技术图片

很快可写层的日志就达到了16Mi

继续观察Pod

技术图片

Pod驱逐了（容器被杀掉，容器内数据全部丢失）

技术图片

从上述Event事件可以看到，Pod可用磁盘空间被限制住了

2.3 EmptyDir日志

部署文件

技术图片

说明：

1）容器的启动脚本start.sh会持续的向容器内路径/lq/log下写test.log日志

2）该日志通过EmptyDir挂载出来，故日志文件在宿主机的/var/lib/kubelet目录下

3）该容器申请10Mi的磁盘空间，上限为100Mi，emptyDir路径上限为40Mi

创建该Pod

使用kubectl apply -f xxxxxxxx.yaml

查询日志路径以及Pod运行情况

技术图片

可以看到日志已经到了32Mi，目前Pod运行正常

继续等待，观察Pod情况

技术图片

Pod被驱逐了（容器杀死，全部数据丢失）

查看Pod事件

技术图片

可见该日志磁盘空间被限制了

2.4 /var/log目录日志

一般Pod的启动日志（k8s上的控制台日志）会记录到宿主机的/var/log目录下，并且根据前面介绍得知ephemeral-storage会对该目录下的容器日志磁盘空间大小进行管理，但是由于我使用的测试镜像并无启动日志，故通过hostPath挂载的方式挂载到该路径下，看看我们显示指定挂载路径的时候，ephemeral-storage还能否生效。