docker镜像管理基础

Posted 码出未来_远

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了docker镜像管理基础相关的知识,希望对你有一定的参考价值。

镜像的概念

镜像可以理解为应用程序的集装箱,而docker用来装卸集装箱。

docker镜像含有启动容器所需要的文件系统及其内容,因此,其用于创建并启动容器。

docker镜像采用分层构建机制,最底层为bootfs,其上为rootfs

  • bootfs:用于系统引导的文件系统,包括bootloader和kernel,容器启动完成后会被卸载以节约内存资源
  • rootfs:位于bootfs之上,表现为docker容器的根文件系统
    • 传统模式中,系统启动之时,内核挂载rootfs会首先将其挂载为“只读”模式,完整性自检完成后将其重新挂载为读写模式
    • docker中,rootfs由内核挂载为“只读”模式,而后通过“联合挂载”技术额外挂载一个“可写”层

注意:当删除容器时,这个容器自有的“可写”层会一起被删除

docker镜像层

位于下层的镜像称为父镜像(parrent image),最底层的称为基础镜像(base image);
最上层为“可读写”层,其下的均为“只读”层。

docker存储驱动

docker提供了多种存储驱动来实现不同的方式存储镜像,下面是常用的几种存储驱动:

  • AUFS
  • OverlayFS
  • Devicemapper
  • Btrfs
  • VFS

AUFS

AUFS(AnotherUnionFS)是一种Union FS,是文件级的存储驱动。AUFS是一个能透明覆盖一个或多个现有文件系统的层状文件系统,把多层合并成文件系统的单层表示。简单来说就是支持将不同目录挂载到同一个虚拟文件系统下的文件系统。这种文件系统可以一层一层地叠加修改文件。无论底下有多少层都是只读的,只有最上层的文件系统是可写的。当需要修改一个文件时,AUFS创建该文件的一个副本,使用CoW将文件从只读层复制到可写层进行修改,结果也保存在可写层。在Docker中,底下的只读层就是image,可写层就是Container。

AUFS文件系统据说有3W行代码,而ext4文件系统却只有4000-5000行左右代码,这些代码是要被整合进内核的,后来AUFS申请要被合并进内核代码的时候,linuz觉得它这代码太过臃肿,于是拒绝了。因此AUFS这个文件系统一直以来就不是linux内核中自有的文件系统,想用AUFS这个文件系统的话,必须自己向内核打补丁并去编译使用它,但redhat系列的操作系统一向以稳定著称,不会干这种出格的事,所以在redhat系列操作系统中使用AUFS并无可能。而ubuntu上的docker默认使用的就是AUFS。

OverlayFS

Overlay是Linux内核3.18后支持的,也是一种Union FS,和AUFS的多层不同的是Overlay只有两层:一个upper文件系统和一个lower文件系统,分别代表Docker的镜像层和容器层。当需要修改一个文件时,使用CoW将文件从只读的lower复制到可写的upper进行修改,结果也保存在upper层。在Docker中,底下的只读层就是image,可写层就是Container。目前最新的OverlayFS为Overlay2。

AUFS和Overlay都是联合文件系统,但AUFS有多层,而Overlay只有两层,所以在做写时复制操作时,如果文件比较大且存在比较低的层,则AUSF会慢一些。而且Overlay并入了linux kernel mainline,AUFS没有。目前AUFS已基本被淘汰。

DeviceMapper

Device mapper是Linux内核2.6.9后支持的,提供的一种从逻辑设备到物理设备的映射框架机制,在该机制下,用户可以很方便的根据自己的需要制定实现存储资源的管理策略。AUFS和OverlayFS都是文件级存储,而Device mapper是块级存储,所有的操作都是直接对块进行操作,而不是文件。Device mapper驱动会先在块设备上创建一个资源池,然后在资源池上创建一个带有文件系统的基本设备,所有镜像都是这个基本设备的快照,而容器则是镜像的快照。所以在容器里看到文件系统是资源池上基本设备的文件系统的快照,并没有为容器分配空间。当要写入一个新文件时,在容器的镜像内为其分配新的块并写入数据,这个叫用时分配。当要修改已有文件时,再使用CoW为容器快照分配块空间,将要修改的数据复制到在容器快照中新的块里再进行修改。

OverlayFS是文件级存储,Device mapper是块级存储,当文件特别大而修改的内容很小,Overlay不管修改的内容大小都会复制整个文件,对大文件进行修改显然要比小文件要消耗更多的时间,而块级无论是大文件还是小文件都只复制需要修改的块,并不是整个文件,在这种场景下,显然device mapper要快一些。因为块级的是直接访问逻辑盘,适合IO密集的场景。而对于程序内部复杂,大并发但少IO的场景,Overlay的性能相对要强一些。

docker registry

启动容器时,docker daemon会试图从本地获取相关的镜像,本地镜像不存在时,其将从Registry中下载该镜像并保存到本地。

Registry用于保存docker镜像,包括镜像的层次结构和元数据。用户可以自建Registry,亦可使用官方的Docker Hub。

docker registry的分类:

  • Sponsor Registry:第三方的Registry,供客户和Docker社区使用
  • Mirror Registry:第三方的Registry,只让客户使用
  • Vendor Registry:由发布docker镜像的供应商提供的registry
  • Private Registry:通过设有防火墙和额外的安全层的私有实体提供的registry

docker registry的组成:

  • Repository
    • 由某特定的docker镜像的所有迭代版本组成的镜像仓库
    • 一个Registry中可以存在多个Repository
      • Repository可分为“顶层仓库”和“用户仓库”
      • 用户仓库名称格式为“用户名/仓库名”
    • 每个仓库可包含多个Tag(标签),每个标签对应一个镜像
  • Index
    • 维护用户帐户、镜像的检验以及公共命名空间的信息
    • 相当于为Registry提供了一个完成用户认证等功能的检索接口

Docker Registry中的镜像通常由开发人员制作,而后推送至“公共”或“私有”Registry上保存,供其他人员使用,例如“部署”到生产环境。

docker镜像的制作

多数情况下,我们做镜像是基于别人已存在的某个基础镜像来实现的,我们把它称为base image。比如一个纯净版的最小化的centos、ubuntu或debian。

那么这个最小化的centos镜像从何而来呢?其实这个基础镜像一般是由Docker Hub的相关维护人员,也就是Docker官方手动制作的。这个基础镜像的制作对于Docker官方的专业人员来说是非常容易的,但对于终端用户来说就不是那么容易制作的了。

Docker Hub
Docker Hub是一个基于云的注册服务,它允许你链接到代码库,构建并测试你的镜像,存储手动推送的镜像,并链接到Docker云上,这样你就可以将镜像部署到你的主机上。

它为容器镜像的发现、分发和变更管理、用户和团队协作以及整个开发管道的工作流自动化提供了一个集中的资源。

Docker Hub主要提供了以下几个服务:

image Repositories(镜像仓库)
从官方和社区仓库中查看和拉取镜像,还可以对你有权限访问的仓库进行管理、拉取和推送镜像。
Automated Builds(自动构建)
当你的代码发生改变时将会自动将新代码构建
Webhooks(网络钩子)
自动构建的一个特性,当webhooks检测到你成功推送新的代码到仓库时,会触发自动构建的操作
Organizations(组织)
创建工作组以便管理镜像仓库的访问权限
GitHub and Bitbucket Integration(github和bitbucket集成)
将Hub和当前镜像添加到工作流当中

docker镜像的获取
要从非官方registry中将镜像拉取下来的命令

docker pull [:]/[/]:
提供docker仓库服务的主机默认监听的端口号在TCP的5000端口上。

有一些registry也支持默认的命令参数
但是将所有参数都写上去,能够方便的看出对应的值是哪个参数和区分相同镜像

层次结构的附加层次

Namespace Examples(/)
organization redhat/kubernetes, google/kubernetes
login(username) Alice/application, bob/application
role devel/database, test/database, prod/database
镜像的生成
镜像的生成途径:

Dockerfile
基于容器制作
Docker Hub automated builds
img

基于容器制作镜像

根据基本容器增加一些新特性做出新的镜像

语法

docker commit [OPTIONS] CONTAINER [REPOSITORY[:TAG]]
Options Default Description
—author, -a Author (e.g., “John Hannibal Smith hannibal@a-team.com”)
-c, --change list Apply Dockerfile instruction to the created image
-m, --message string Commit message
-p, --pause true Pause container during commit

下载centos系统镜像

[root@docker ~]# docker pull centos

使用镜像启动容器并进入容器

[root@docker ~]# docker run -it --name centos.nginx centos /bin/bash

安装epel源和nginx

[root@369372c88fd6 /]# yum install epel-release -y
[root@369372c88fd6 /]# yum install nginx -y

配置nginx为前台启动模式

在nginx的配置文件中加入如下参数

vi /etc/nginx/nginx.conf

daemon off;

查看容器

[root@docker ~]# docker ps -a
CONTAINER ID   IMAGE          COMMAND                  CREATED              STATUS                     PORTS     NAMES
369372c88fd6   centos         "/bin/bash"              About a minute ago   Exited (0) 3 seconds ago             centos.nginx
596d668963f3   nginx          "/docker-entrypoint.…"   2 hours ago          Up 2 hours                 80/tcp    b1
86bd7474d739   nginx          "/docker-entrypoint.…"   2 hours ago          Exited (0) 2 hours ago               eager_margulis
7d382d20bb59   ubuntu:15.10   "/bin/bash"              7 hours ago          Exited (127) 7 hours ago             recursing_visvesvaraya
5a11a555bbe8   ubuntu:15.10   "/bin/echo 'Hello wo…"   7 hours ago          Exited (0) 7 hours ago               epic_kilby

制作镜像

[root@docker ~]# docker commit -m "nginx" -a "centos-nginx" -c 'CMD ["/usr/sbin/nginx"]' 369372c88fd6 centos-nginx
sha256:7d17908e5897a0b87768fcad4e902018d030739b1b98c40834c81a80b95994e4

查看镜像

[root@docker ~]# docker images
REPOSITORY     TAG       IMAGE ID       CREATED         SIZE
centos-nginx   latest    7d17908e5897   9 seconds ago   345MB
ubuntu         latest    1318b700e415   39 hours ago    72.8MB
nginx          latest    08b152afcfae   6 days ago      133MB
httpd          latest    73b8cfec1155   6 days ago      138MB
<none>         <none>    65c9239c9300   3 weeks ago     1.24MB
busybox        latest    69593048aa3a   7 weeks ago     1.24MB
hello-world    latest    d1165f221234   4 months ago    13.3kB
centos         latest    300e315adb2f   7 months ago    209MB
ubuntu         15.10     9b9cb95443b5   5 years ago     137MB

使用新镜像启动容器

[root@docker ~]# docker run --name nginx -p 8888:80 -d centos-nginx
021ddfcec4c75f9adac1b79d95e207ffb8b6d6d802066915c11dcdb02230b90d
[root@docker ~]# ss -antl
State         Recv-Q         Send-Q                 Local Address:Port                 Peer Address:Port        Process        
LISTEN        0              128                          0.0.0.0:22                        0.0.0.0:*                          
LISTEN        0              128                          0.0.0.0:8888                      0.0.0.0:*                          
LISTEN        0              128                             [::]:22                           [::]:*                          
LISTEN        0              128                             [::]:8888                         [::]:*              

[root@docker ~]# docker run --name centos-nginx -it centos
[root@70bfaf3d4b7a /]# mkdir data
[root@70bfaf3d4b7a /]# echo 'Busybox page test.' > data/index.html
[root@70bfaf3d4b7a /]# cat data/index.html 
Busybox page test.
[root@docker ~]# docker commit -p centos-nginx
sha256:2ed3d7464d74900c9960cecdce1ecad72903a500ed7f0171675118b89a76acee
[root@docker ~]# docker images
REPOSITORY     TAG       IMAGE ID       CREATED          SIZE
<none>         <none>    2ed3d7464d74   5 seconds ago    209MB
centos-nginx   latest    7d17908e5897   11 minutes ago   345MB
ubuntu         latest    1318b700e415   40 hours ago     72.8MB
nginx          latest    08b152afcfae   6 days ago       133MB
httpd          latest    73b8cfec1155   6 days ago       138MB
<none>         <none>    65c9239c9300   3 weeks ago      1.24MB
busybox        latest    69593048aa3a   7 weeks ago      1.24MB
hello-world    latest    d1165f221234   4 months ago     13.3kB
centos         latest    300e315adb2f   7 months ago     209MB
ubuntu         15.10     9b9cb95443b5   5 years ago      137MB
[root@docker ~]# docker tag 7d17908e5897 18463751776/centos-nginx:0.1
[root@docker ~]# docker images
REPOSITORY                  TAG       IMAGE ID       CREATED          SIZE
<none>                      <none>    2ed3d7464d74   10 minutes ago   209MB
18463751776/centos-nginx    0.1       7d17908e5897   21 minutes ago   345MB
centos-nginx/centos-nginx   0.1       7d17908e5897   21 minutes ago   345MB
centos-nginx                latest    7d17908e5897   21 minutes ago   345MB
ubuntu                      latest    1318b700e415   40 hours ago     72.8MB
nginx                       latest    08b152afcfae   6 days ago       133MB
httpd                       latest    73b8cfec1155   6 days ago       138MB
<none>                      <none>    65c9239c9300   3 weeks ago      1.24MB
busybox                     latest    69593048aa3a   7 weeks ago      1.24MB
hello-world                 latest    d1165f221234   4 months ago     13.3kB
centos                      latest    300e315adb2f   7 months ago     209MB
ubuntu                      15.10     9b9cb95443b5   5 years ago      137MB


在另一个终端测试访问,能够正常访问后必须关掉nginx服务并设置前台运行,否则设置cmd里启动服务时发现服务正则运行退出码不为0,容器则会启动不了

[root@localhost /]# curl 172.17.0.1
<!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.1//EN" "http://www.w3.org/TR/xhtml11/DTD/xhtml11.dtd"><html xmlns="http://www.w3.org/1999/xhtml" xml:lang="en">
    <head>
        <title>Test Page for the Nginx HTTP Server on Red Hat Enterprise Linux</title>
        <meta http-equiv="Content-Type" content="text/html; charset=UTF-8" />
        <style type="text/css">
            /*<![CDATA[*/
            body 
                background-color: #fff;
                color: #000;
                font-size: 0.9em;
                font-family: sans-serif,helvetica;
                margin: 0;
                padding: 0;
            
            :link 
                color: #c00;

登录上传

[root@docker ~]# docker login
Login with your Docker ID to push and pull images from Docker Hub. If you don't have a Docker ID, head over to https://hub.docker.com to create one.
Username: 18463751776
Password: 
WARNING! Your password will be stored unencrypted in /root/.docker/config.json.
Configure a credential helper to remove this warning. See
https://docs.docker.com/engine/reference/commandline/login/#credentials-store

Login Succeeded
[root@docker ~]# docker push centos-nginx/centos-nginx:0.1
The push refers to repository [docker.io/centos-nginx/centos-nginx]
44d45c8164a7: Preparing 
2653d992f4ef: Preparing 
denied: requested access to the resource is denied

以上是关于docker镜像管理基础的主要内容,如果未能解决你的问题,请参考以下文章

docker镜像管理基础

docker镜像管理基础

docker镜像管理基础

docker镜像管理基础

docker镜像管理基础

私有镜像仓库Harbor基础介绍与部署