修改CentOs7 上Docker默认文件系统DeviceMapper为OverlayFS

Posted

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了修改CentOs7 上Docker默认文件系统DeviceMapper为OverlayFS相关的知识,希望对你有一定的参考价值。

最近一直在研究Mesos, Marathon跟Docker结合的容器云平台,Mesos 框架已经搭好,并且Marathon也可以实现简单的Docker应用管理了,然后今天尝试搭建一下mesosphere公司的DC/OS平台(https://dcos.io/),利用这个平台可以很容易实现基于容器的云计算平台的资源调度,管理,应用分配,负载均衡,动态扩展,故障转移等。DC/OS底层系统也是基于Docker的,根据官方文档建议,我们把CentOS7系统上Docker默认的文件系统DeviceMapper改为OverlayFS。

Docker最开始支持的文件系统是Aufs的,是一种Union File System,原理就是将多个目录挂在到同一个虚拟目录下,整个文件系统是一个分层的概念,请看图:

技术分享

然后RedHat系列的系统是不支持Aufs的,当Docker变得越来越流行的时候,RedHat公司发行我也得插一脚进去,然后RedHat公司就对这个Aufs研究了一下,然后说“恩,我们牛逼,我要开发一套新的文件系统用来运行Docker”。后来这套系统就是基于自家的在kernel2.6之后被引进的DeviceMapper技术。主要用到Docker上的就是Snapshot和Thinly-provisioned Snapshot, 这个Snapshot在LVM逻辑卷管理场景下用来创建虚拟快照的,Thin-Provisioning是一项利用虚拟化方法减少物理存储部署的技术,可最大限度提升存储空间利用率。当这两个技术结合起来就是DeviceMapper给RedHat系统实现Docker文件系统的最后方案了。其实这个方案也是基于分层的理论给每一层镜像创建快照。如图:

技术分享

然而DeviceMapper的性能并不是那么的好,DC/OS官网给出的解释是会出现unknown issue并且不能再Docker里面运行Docker,DeviceMapper默认情况下创建loop-lvm的方式来构建镜像和容器的snapshots。但是在生产环境下Docker官方建议采用直连的lvm卷来构建镜像和容器,然后在启动Docker Daemon的时候使用如下方式来加载:

{
     "storage-driver": "devicemapper",
     "storage-opts": [         "dm.thinpooldev=/dev/mapper/docker-thinpool",         "dm.use_deferred_removal=true"
     ]
 }

在系统里运行docker info即可查看到使用的是什么文件系统:

这是Cent6.5系统的,发现使用的是devicemapper,而且Data File是loop0:


# docker info
Containers: 11
Images: 63
Storage Driver: devicemapper
 Pool Name: docker-252:1-679218-pool
 Pool Blocksize: 65.54 kB
 Backing Filesystem: extfs
 Data file: /dev/loop0
 Metadata file: /dev/loop1
 Data Space Used: 2.221 GB
 Data Space Total: 107.4 GB
 Data Space Available: 9.648 GB
 Metadata Space Used: 4.166 MB
 Metadata Space Total: 2.147 GB
 Metadata Space Available: 2.143 GB
 Udev Sync Supported: true
 Deferred Removal Enabled: false
 Data loop file: /var/lib/docker/devicemapper/devicemapper/data
 Metadata loop file: /var/lib/docker/devicemapper/devicemapper/metadata
 Library Version: 1.02.95-RHEL6 (2015-09-08)
Execution Driver: native-0.2
Logging Driver: json-file
Kernel Version: 2.6.32-573.22.1.el6.x86_64
Operating System: <unknown>
CPUs: 2
Total Memory: 2.819 GiB
Name: bastion.shanker
ID: SJVK:KAXO:ZDAB:XWSM:O45I:EF6U:GE2T:RU3Y:NW6B:K4IQ:DYEN:B4BJ


这台是Ubuntu12.04的,使用的Aufs系统:


# docker info
Containers: 1
 Running: 0
 Paused: 0
 Stopped: 1
Images: 38
Server Version: 1.10.3
Storage Driver: aufs
 Root Dir: /var/lib/docker/aufs
 Backing Filesystem: extfs
 Dirs: 101
 Dirperm1 Supported: false
Execution Driver: native-0.2
Logging Driver: json-file
Plugins: 
 Volume: local
 Network: host bridge null
Kernel Version: 3.13.0-24-generic
Operating System: Ubuntu 14.04.1 LTS
OSType: linux
Architecture: x86_64
CPUs: 1
Total Memory: 1.463 GiB
Name: dbslave.shanker
ID: IDR4:IA4B:3GDE:O6KF:IACI:BQE2:5SJL:25CA:4KV3:OCIG:RGYC:N22G
Username: shanker
Registry: https://index.docker.io/v1/
WARNING: No swap limit support


这台是CentOS7.2系统,使用的是我更改后的OverlayFS系统:


# docker info
Containers: 3
 Running: 0
 Paused: 0
 Stopped: 3
Images: 5
Server Version: 1.11.1
Storage Driver: overlay
 Backing Filesystem: xfs
Logging Driver: json-file
Cgroup Driver: cgroupfs
Plugins: 
 Volume: local
 Network: bridge null host
Kernel Version: 3.10.0-327.18.2.el7.x86_64
Operating System: CentOS Linux 7 (Core)
OSType: linux
Architecture: x86_64
CPUs: 1
Total Memory: 3.703 GiB
Name: ukcent2.novalocal
ID: 7Q46:GGPP:HOLP:5ICX:WXV7:ZC73:S45I:HVC2:UEWX:FL6L:DMSC:TVYH
Docker Root Dir: /var/lib/docker
Debug mode (client): false
Debug mode (server): false
Registry: https://index.docker.io/v1/

然后我们今天要做的是放弃DeviceMapper,使用OverlayFS来作为默认的存储系统。首先要升级到CentOS7.2,有一个XFS的Bug在7.2系统被修复了。


1.    将OverlayFS加到module目录下

echo "overlay" > /etc/modules-load.d/overlay.conf


2.    reboot 系统,执行lsmod看时候看到overlay

# lsmod | grep over
overlay                42451  0


3.    将Docker源添加到系统里

cat >/etc/yum.repos.d/docker.repo<<E
[dockerrepo]
name=Docker Repository
baseurl=https://yum.dockerproject.org/repo/main/centos/$releasever/
enabled=1
gpgcheck=1
gpgkey=https://yum.dockerproject.org/gpg
E


4.    配置Docker Daemon用OverlayFS启动

sudo mkdir -p /etc/systemd/system/docker.service.d
sudo cat >/etc/systemd/system/docker.service.d/override.conf <<E
[Service] 
ExecStart= 
ExecStart=/usr/bin/docker daemon --storage-driver=overlay -H fd:// 
E


5.    安装Docker,设置开机自启动

sudo yum -y install docker-engine
sudo sysctemctl start docker
sudo systemctl enable docker


6.    Docker info 看一下,如果看到

Storage Driver: overlay

那就证明更改成功,已经从Devicemapper换到了ovelay了。


附:Docker目前支持的文件系统

技术分享


参考:

https://docs.docker.com/engine/userguide/storagedriver/selectadriver/

https://docs.docker.com/engine/userguide/storagedriver/aufs-driver/

https://dcos.io/docs/1.7/administration/installing/custom/system-requirements/#docker

http://coolshell.cn/articles/17200.html

http://www.infoq.com/cn/articles/analysis-of-docker-file-system-aufs-and-devicemapper


本文出自 “天涯海阁” 博客,请务必保留此出处http://shanker.blog.51cto.com/1189689/1783910

以上是关于修改CentOs7 上Docker默认文件系统DeviceMapper为OverlayFS的主要内容,如果未能解决你的问题,请参考以下文章

CentOS7修改Docker默认启动参数(/etc/default/docker文件不存在)

CentOS7修改Docker容器和镜像默认存储位置

修改docker的默认存储路径

docker配置文件路径

docker常用命令

centos7下修改docker工作目录