技术解析系列 | PouchContainer volume机制解析

Posted 2020-12-26

PouchContainer 是阿里巴巴集团开源的高效、轻量级企业级富容器引擎技术，拥有隔离性强、可移植性高、资源占用少等特性。可以帮助企业快速实现存量业务容器化，同时提高超大规模下数据中心的物理资源利用率。已助力阿里巴巴集团实现在线业务 100% 容器化，双 11 容器规模达到百万级。

PouchContainer volume是专门用来解决容器的数据持久化的机制，想要了解volume的机制，就需要了解PouchContainer的镜像机制。PouchContainer，和Docker一样，实现了镜像的分层机制。所谓镜像分层机制，是指容器的镜像实际上是由多个只读的镜像层(layer)叠加而成，这样不同的镜像就可以复用镜像层，大大加快了镜像分发的效率，同时也减少了容器启动时间。当容器需要启动时，pouchd（下文中提到的pouchd均指PouchContainer daemon）会在启动镜像的最上层添加一个读写层，后续容器所有的读写操作就会记录在这个读写层中。这样也引入了一个问题，那就是容器数据的持久化。假如我们将容器删除，再次通过该镜像启动时，容器之前所做的修改都丢失了，这对于有状态的应用(如数据库)是致命的。

volume绕过了镜像机制，让容器中的数据以正常的文件或者目录的形式存在于宿主机上，当容器停止或删除时，并不会影响到volume中的数据，从而实现了数据的持久化，而且volume数据可以在不同的container之间共享。

1. PouchContainer volume整体架构
   该部分内容可能涉及PouchContainer的volume源码实现。

PouchContainer volume整体架构目前主要由以下几部分构成：

VolumeManager：该结构是volume相关操作的入口。

Core：Core是volume的核心模块，包含了volume操作的业务逻辑

Store：负责存储volume元数据，目前元数据存储在本地的boltdb文件中。

Driver：volume driver接口，抽象了volume相关驱动的基本功能

Modules：具体的volume driver，目前存在local, tmpfs, volume plugin, ceph四种volume驱动

pouch_volume_arch.png | center | 747x624
VolumeManager是PouchContainer中的存储组件(其他组件包括ContainerManager, ImageManager、NetworkManager等)，它是所有volume操作的入口，目前提供了Create/Remove/List/Get/Attach/Detach接口。Core包含了volume操作的核心逻辑，向下负责调用底层具体的volume driver，实现volume的创建、删除、attach、detach等操作，同时调用Store,实现volume元数据管理。Store模块专门负责volume的元数据管理，volume的相关状态都会通过Store进行存储，之所以将元数据管理专门作为一个模块，是为了将来方便扩展，目前volume元数据是存储在boltdb，未来也可能存入etcd等。Driver抽象了volume driver需要实现的接口，一个具体的volume driver需要实现如下接口：

type Driver interface {
// Name returns backend driver‘s name.
Name(Context) string

    // StoreMode defines backend driver‘s store model.
    StoreMode(Context) VolumeStoreMode

    // Create a volume.
    Create(Context, *types.Volume, *types.Storage) error

    // Remove a volume.
    Remove(Context, *types.Volume, *types.Storage) error

    // Path returns volume‘s path.
    Path(Context, *types.Volume) (string, error)

}

2. PouchContainer支持的volume类型
   目前，PouchContainer支持三种具体的volume类型，即local, tmpfs和ceph，还通过volume plugin这种通用的存储插件机制支持更多的第三方存储。

2.1 local volume
local volume是PouchContainer默认的volume类型，适合存储需要持久化的数据，它的生命周期独立于容器的生命周期。

当你创建一个volume时，假如没有指定driver类型，则默认local为driver类型。local volume本质上，是pouchd到/var/lib/pouch/volume目录下创建的一个子目录。相较于docker，PouchContainer的local volume拥有更多的实用特性，包括：

指定挂载目录创建volume

可以指定volume大小

首先我们可以指定目录创建一个local volume。该特性在生产中非常实用。对于某些应用，如数据库，我们需要挂载专门的块设备，用于存储数据库数据，例如运维人员将块设备格式化后，挂载到/mnt/mysql_data目录。执行以下命令，我们就创建了一个挂载在/mnt/mysql_data的volume，然后可以将该volume挂载到容器指定目录，启动容器。

pouch volume create --driver local --option mount=/mnt/mysql_data --name mysql_data
其次，我们可以限制volume的大小。该功能依赖于底层文件系统提供的quato功能，目前支持的底层文件系统为ext4和xfs，同时对内核版本也有要求。

pouch volume create --driver local --option size=10G --name test_quota
2.2 tmpfs volume
tmpfs volume的数据并不会持久化到硬盘中去，只存储于内存中 (若内存不足，则存入swap)，访问速度快，但当容器停止运行时，该volume里面的所有信息都会消失，因此tmpfs volume只适合保存一些临时和敏感的数据。

tmpfs volume默认存储/mnt/tmpfs目录下，你也可以通过 -o mount 指定其挂载路径。不过指定tmpfs的挂载路径没有什么意义，因为tmpfs内容直接存储在内存中。

pouch volume create --driver tmpfs --name tmpfs_test
2.3 ceph volume
ceph是一种比较特殊的volume类型，ceph volume是将数据存储到ceph集群(ceph rbd 存储)中，因此可以实现volume跨物理机的迁移。

目前外界暂时不能使用ceph volume。从PouchContainer volume架构图可知，ceph driver和driver层之间还有一层alibaba storage controller（注意：alibaba storage controller只是一个代称），这是阿里巴巴内部的一套容器存储管理平台，后面对接了ceph/pangu/nas等诸多存储方案。PouchContainer通过与该容器存储管理平台对接，可以直接利用ceph提供volume。后期我们可能开源该容器存储管理平台。

2.4 volume plugin
volume plugin是一种通用性的volume，准确来说它是一种volume的扩展机制。目前docker通过插件机制可以管理诸多的第三方存储，PouchContainer也实现了该volume plugin机制，可以无缝对接原先docker已经存在的volume plugin。

作为一个volume plugin，必须实现volume plugin protocol。volume plugin其实本质上是一个web server，该web server实现了如下服务，所有请求均为POST请求。

/VolumeDriver.Create // Volume创建服务

/VolumeDriver.Remove // Volume删除服务

/VolumeDriver.Mount // Volume挂载服务

/VolumeDriver.Path // Volume挂载路径服务

/VolumeDriver.Unmount // Volume卸载服务

/VolumeDriver.Get // Volume Get服务

/VolumeDriver.List // Volume List服务

/VolumeDriver.Capabilities // Volume Driver能力服务

3. bind mounts与volumes
   PouchContainer目前支持两种数据持久化的方式，除了上述的volumes，还可以利用bind mounts。bind mounts，顾名思义，指的是直接将宿主机的目录挂载到容器里面。

pouch run -d -t -v /hostpath/data:/containerpath/data:ro ubuntu sh
上述这条命令就将宿主机上的/hostpath/data目录已只读的方式挂载到容器的/containerpath/data目录下。

bind mounts依赖于宿主机文件系统目录结构，而volume，在PouchContainer中有专门的机制进行管理。volumes相对于bind mounts，有以下优势：

volumes相对于bind mounts，更容易进行备份和管理；

PouchContainer提供了专门的CLI和API，用来管理volumes；

volumes适合在多个容器之间安全地共享；

volumes提供了插件机制，可以更加方便地对接第三方存储。

4. PouchContainer volume未来的发展
   CSI，即Container Storage Interface（该项目定义了容器调度层和容器之间的存储接口），目前已发布了v0.2版本。Pouch未来可能增加一种通用类型的driver，用于对接已实现CSI接口的存储系统。

5. 总结
   本文介绍了PouchContainer的volume机制， volume机制主要是为了解决容器数据持久化的问题。PouchContainer目前支持local,tmpfs,ceph三种driver，同时支持以volume plugin的形式对接更多的第三方存储。