k8sk8s存储卷 emptyDirhostpathnfs

Posted 2022-12-10 dezasseis

一、卷简介

卷官方文档

• 容器中的文件在磁盘上是临时存放的，这给容器中运行的特殊应用程序带来一些问题。首先，当容器崩溃时，kubelet将重新启动容器，容器中的文件将会丢失,因为容器会以干净的状态重建。其次，当在一个 Pod 中同时运行多个容器时，常常需要在这些容器之间共享文件。 Kubernetes 抽象出 Volume 对象来解决这两个问题。
• Kubernetes 卷具有明确的生命周期,与包裹它的 Pod 相同。 因此，卷比 Pod中运行的任何容器的存活期都长，在容器重新启动时数据也会得到保留。 当然，当一个 Pod不再存在时，卷也将不再存在。也许更重要的是，Kubernetes 可以支持许多类型的卷，Pod 也能同时使用任意数量的卷。
• 卷不能挂载到其他卷，也不能与其他卷有硬链接。 Pod 中的每个容器必须独立地指定每个卷的挂载位置。

二、卷类型

01_emptyDir 卷

• 当 Pod 指定到某个节点上时，首先创建的是一个 emptyDir 卷，并且只要 Pod 在该节点上运行，卷就一直存在。就像它的名称表示的那样，卷最初是空的。 尽管 Pod 中的容器挂载 emptyDir 卷的路径可能相同也可能不同，但是这些容器都可以读写emptyDir 卷中相同的文件。 当 Pod 因为某些原因被从节点上删除时，emptyDir 卷中的数据也会永久删除。

emptyDir 的使用场景：

• 缓存空间，例如基于磁盘的归并排序。
• 为耗时较长的计算任务提供检查点，以便任务能方便地从崩溃前状态恢复执行。
• 在 Web 服务器容器服务数据时，保存内容管理器容器获取的文件。

默认情况下， emptyDir 卷存储在支持该节点所使用的介质上；这里的介质可以是磁盘或 SSD 或网络存储，这取决于您的环境。 但是，您可以将 emptyDir.medium 字段设置为 “Memory”，以告诉 Kubernetes 为您安装 tmpfs（基于内存的文件系统）。 虽然 tmpfs 速度非常快，但是要注意它与磁盘不同。 tmpfs 在节点重启时会被清除，并且您所写入的所有文件都会计入容器的内存消耗，受容器内存限制约束。

emptydir缺点：

• 不能及时禁止用户使用内存。虽然过1-2分钟kubelet会将Pod挤出，但是这个时间内，其实对node还是有风险的；
• 影响kubernetes调度，因为emptydir并不涉及node的resources，这样会造成Pod“偷偷”使用了node的内存，但是调度器并不知晓；
• 用户不能及时感知到内存不可用

emptyDir 示例：

• 创建目录
  mkdir volumes
cd volumes/
• 编写文件创建卷类型为emptyDir的pod
  vim emptydir.yml

apiVersion: v1
kind: Pod
metadata:
  name: vol1
spec:
  containers:
 - image: busyboxplus
    name: vm1
    stdin: true
    tty: true
    volumeMounts:
    - mountPath: /cache
      name: cache-volume
 - name: vm2
    image: myapp:v1
    volumeMounts:
    - mountPath: /usr/share/nginx/html
      name: cache-volume
  volumes:
 - name: cache-volume
    emptyDir:
      medium: Memory
      sizeLimit: 100Mi
# 如果未指定内存大小
# 则基于内存的卷的大小为 Linux 主机上内存的 50％

• 查看信息
  
  kubectl describe pod vol1 | less
  vm1挂载路径
  vm2挂载路径
  
  类型为EmptyDir，sizeLimit为100Mi
  
• 测试数据共享：在vm1的挂载路径下写入内容，最终在vm2（包含nginx的镜像容器）下能访问到，说明数据共享
  
• 测试内存限制：配置文件中已经设置内存最大为100Mi，占用200Mi内存，发现等待几分钟后pod的状态变为Evicted（驱离），之所以不是立即被驱离，是因为kubelet是定期进行检查的，这里会有一个时间差。
  

02_hostpath卷

hostPath 卷能将主机节点文件系统上的文件或目录挂载到您的 Pod 中。 虽然这不是大多数 Pod 需要的，但是它为一些应用程序提供了强大的逃生舱。

hostPath 的一些用法有：

• 运行一个需要访问 Docker 引擎内部机制的容器,挂载 /var/lib/docker 路径。
• 在容器中运行 cAdvisor 时，以 hostPath 方式挂载 /sys。
• 允许 Pod 指定给定的 hostPath 在运行 Pod 之前是否应该存在，是否应该创建以及应该以什么方式存在。

hostPath 卷指定 type：

注意事项：

• 具有相同配置（例如从 podTemplate 创建）的多个 Pod 会由于节点上文件的不同而在不同节点上有不同的行为。
• 当 Kubernetes 按照计划添加资源感知的调度时，这类调度机制将无法考虑由 hostPath 使用的资源。
• 基础主机上创建的文件或目录只能由 root 用户写入。您需要在 特权容器 中以 root
  身份运行进程，或者修改主机上的文件权限以便容器能够写入 hostPath 卷。

hostpath示例

• 创建类型为hostpath的pod，curl 访问失败
  vim hostpath.yml

apiVersion: v1
kind: Pod
metadata:
  name: test-pd
spec:
  containers:
 - image: myapp:v1
    name: vm1
    volumeMounts:
    - mountPath: /usr/share/nginx/html # 容器内部的挂载目录
      name: test-volume
  volumes:
 - name: test-volume
    hostPath:
      path: /webdata # node主机上目录位置
      type: DirectoryOrCreate

此容器在node节点server3上，创建测试页，回到master节点发现能成功访问

• 删除pod，在node节点的目录及内容也不会消失
  
  

03_nfs

nfs 卷能将 NFS (网络文件系统) 挂载到你的 Pod 中。 不像 emptyDir 那样会在删除 Pod 的同时也会被删除，nfs 卷的内容在删除 Pod 时会被保存，卷只是被卸载。 这意味着 nfs 卷可以被预先填充数据，并且这些数据可以在 Pod 之间共享。

• 在使用 NFS 卷之前，必须运行自己的 NFS 服务器并将目标 share 导出备用。

nfs 示例：

• 在指定主机server1搭建nfs服务器
  yum install -y nfs-utils安装nfs
  mkdir /nfsdata创建挂载目录
  chmod 777 /nfsdata/
vim /etc/exports编辑nfs配置文件

/nfsdata	*(rw,no_root_squash)

exportfs -rv让新设置的文件生效
systemctl enable --now nfs开启nfs服务
showmount -e显示nfs输出目录列表

• 创建 nfs 类型的pod，发现未成功Running时，检查此容器的node节点是否安装nfs-utils，安装后成功Running
  vim nfs.yml

apiVersion: v1
kind: Pod
metadata:
  name: nfs-pd
spec:
  containers:
 - image: myapp:v1
    name: vm1
    volumeMounts:
    - mountPath: /usr/share/nginx/html #容器挂载目录
      name: test-volume
  volumes:
 - name: test-volume
    nfs:
      server: 172.25.2.1 #nfs服务器地址
      path: /nfsdata

• 此时访问容器IP会失败，在nfs服务器上创建测试页后，成功访问！