《云原生入门级开发者认证》学习笔记之云原生基础设施之容器技术

Posted 2022-04-06 山河已无恙

写在前面

---

• 嗯，报了考试，整理课堂笔记记忆
• 学习的原因：
  • 虽然考了CKA,了解了一些K8s相关的知识
  • 但是对云原生整个体系一直都很模糊
  • 希望对云原生有一个基本的认识
  • 通过学习实现云原生相关入门
• 博文主要内容涉及：
  • 关于Docker知识体系的简述，适合温习
  • 讲的很浅，都是理论，没有实战

傍晚时分，你坐在屋檐下，看着天慢慢地黑下去，心里寂寞而凄凉，感到自己的生命被剥夺了。当时我是个年轻人，但我害怕这样生活下去，衰老下去。在我看来，这是比死亡更可怕的事。--------王小波

---

云原生基础设施之容器技术

容器发展背景

企业IT业务云化路径

传统业务云化

业务云化创新

容器是什么?

容器是一种轻量级、可移植、自包含的软件打包技术,使应用程序可以在几乎任何地方以相同的方式运行。

开发人员在自己开发环境创建并测试好的容器,无需任何修改就能够在生产系统的虚拟机、物理服务器或公有云主机上运行

容器核心思想

将集装箱的思想应用到了软件的打包和部署上，为各类不同的代码提供了一个基于容器的标准化运输系统。

容器与虚拟机

容器和虚拟机 之间的主要区别在于虚拟化层的位置和操作系统资源的使用方式。

用户运行在容器里的应用进程,跟宿主机上的其他进程一样,都由宿主机操作系统统一管理,只不过这些被隔离的进程拥有额外设置过的Namespace参数。而Docker项目在这里扮演的角色,更,多的是旁路式的辅助和管理工作

Docker项目介绍

2013年, dotCloud公司将Docker项目开源。
Docker项目:GitHub上开发的Moby开源项目的一部分，遵循Apache License 2.0许可证协议，Go语言编写Docker是一个开源的引擎,可以轻松的为任何应用创建一个轻量级的、可移植的、自给自足的容器。

Docker公司目前推出两个版本:

• Docker CE (社区版)，
• Docker EE (企业版)

容器关键技术介绍

容器规范

容器不光是Docker,还有其他容器,比如CoreOS的rkt,红帽的podman，以及之后的K8s之后的containerd。为了保证容器生态的健康发展,保证不同容器之间能够兼容,包含Docker-CoreOS-Google在内的若干公司共同成立了一个叫Open Container Initiative(OCI)的组织,其目是制定开放的容器规范。

容器runtime

runtime与操作系统kernel紧密协作,为容器提供运行环境。常见的容器runtime:

• runC是Docker公司2015年发布的容器runtime工具,符合OCI规范。 runC Libcontainer演变而来。
• rkt,是CoreOS公司开发的Docker/runc的一个流行替代方案,符合OCI规范。
• Kata, 2017年整合Clear ContainerNrunV项目,基于虚拟化技术的容器实现,符合OCI规范。
• gVisor ,2018 年Google公司发布 gVisor的项目,基于虚拟化技术的容器实现,符合OCI规范

Docker 引擎

Docker主要指容器引擎,即Docker engine。Docker Engine是-个Client/Server应用程序。Docker engine主要组件有3部分:

• 服务器:是一个长期运行的程序,称为daemon进程:Docker daemon用于创建和管理docker对象,如容器镜像、容器、网络、卷。
• 命令行界面客户端(docker CLI):CLI使用Docker REST API通过脚本或直接的CLI命令与Docker daemon交互。
• 一个REST API:Client可以用它来与daemon进程通信交互。

Docker 架构

• Docker Client: Docker是个采用的C/S架构的应用程序。Docker Client一般通过Docker command来发起请求。在用户界面,支持用户与Docker Daemon之间通信
• Docker daemon :简单地说, Docker daemon实现的功能就是接收客户端发来的请求,并实现请求所要求的功能,同时针对请求返回相应的结果。Docker daemon是驱动整个Docker功能的核心引擎。在功能的实现上,Docker daemon涉及了容器、镜像、存储等多方面的内容,涉及多个模块的实现和交互。
• Containers :容器以镜像为基础,同时又为镜像提供了一个标准和隔离的运行环境。Docker的容器就是“软件界的集装箱”,可以安装任意的软件和库文件,做任意的运行环境配置。开发及运维人员在转移和部署应用的时候,不需关心容器里装了什么软件,也不需了解它们是如何配置的。
• Docker Image :与容器相对应,如果说容器提供了一个完整的、隔离的运行环境,那么镜像则是这个运行环境的静态体现
• Registry : Registry是一个存放镜像的仓库。Registry本身也是一个单独的开源项目企业可使用Registry镜像搭建私有仓库。

Docker容器实现原理

Docker容器通过namespace技术实现进程隔离,通过cgroup技术实现容器进程可用资源的限制。Docker启动一个容器时,实际是创建了包含多个namespace参数的进程。

Namespace

Namespace :命名空间作用:资源隔离。 namespace将内核的全局资源进行封装,使得每个namespace都有一份独立的资源。因此不同进程在各自namespace内对同一种资源的使用不会相互干扰。

Namespace实际上是Linux系统上创建新进程时的一个可选参数。实际上在创建Docker容器时,指定了这个进程所需要启用的一组namespace参数。通过namespace机制的隔离,容器只能见到当前Namespace中所限定的资源、文件、设备、状态或配置。以此实现应用运行环境的隔离。

PID namespace隔离示例

以交互模式启动一个centos容器,并在其中运行/bin/bash程序。执行ps命令查看到"/bin/bash"是PID=1的进程,即Docker将其隔离于宿主机中的其他进程之外。

Cgroups

Cgroups : Linux Control Groups作用:限制一个进程组对系统资源的使用上限,包括CPU、内存、Block I/O等。

┌──[[e-mail]]-[~]
└─$cd /sys/fs/cgroup
┌──[[e-mail]]-[/sys/fs/cgroup]
└─$ls
blkio  cpuacct      cpuset   freezer  memory   net_cls,net_prio  perf_event  systemd
cpu    cpu,cpuacct  devices  hugetlb  net_cls  net_prio          pids
┌──[[e-mail]]-[/sys/fs/cgroup]
└─$

Cgroups还可以设置进程优先级,对进程进行挂起和恢复等操作。

原理 :将一组进程放在一个Cgroup中,通过给这个Cgroup分配指定的可用资源,达到控制这一组进程可用资源的目的

实现 :在Linux中,Cgroups以文件和目录的方式组织在操作系统的/sys/fs/cgroup路径下。该路径中所有的资源种类均可被Cgroup限制。

┌──[[e-mail]]-[/sys/fs/cgroup]
└─$mount -t cgroup
cgroup on /sys/fs/cgroup/systemd type cgroup (rw,nosuid,nodev,noexec,relatime,xattr,release_agent=/usr/lib/systemd/systemd-cgroups-agent,name=systemd)
cgroup on /sys/fs/cgroup/cpuset type cgroup (rw,nosuid,nodev,noexec,relatime,cpuset)
cgroup on /sys/fs/cgroup/cpu,cpuacct type cgroup (rw,nosuid,nodev,noexec,relatime,cpuacct,cpu)
cgroup on /sys/fs/cgroup/devices type cgroup (rw,nosuid,nodev,noexec,relatime,devices)
cgroup on /sys/fs/cgroup/perf_event type cgroup (rw,nosuid,nodev,noexec,relatime,perf_event)
cgroup on /sys/fs/cgroup/pids type cgroup (rw,nosuid,nodev,noexec,relatime,pids)
cgroup on /sys/fs/cgroup/hugetlb type cgroup (rw,nosuid,nodev,noexec,relatime,hugetlb)
cgroup on /sys/fs/cgroup/freezer type cgroup (rw,nosuid,nodev,noexec,relatime,freezer)
cgroup on /sys/fs/cgroup/memory type cgroup (rw,nosuid,nodev,noexec,relatime,memory)
cgroup on /sys/fs/cgroup/net_cls,net_prio type cgroup (rw,nosuid,nodev,noexec,relatime,net_prio,net_cls)
cgroup on /sys/fs/cgroup/blkio type cgroup (rw,nosuid,nodev,noexec,relatime,blkio)
┌──[[e-mail]]-[/sys/fs/cgroup]
└─$

容器镜像

对软件开发而言，容器镜像打通了“开发 - 测试 - 部署”的流程。

镜像是容器的模板,容器是镜像的运行实例,runtime根据镜像创建容器

容器镜像挂载在容器根目录下,为容器中的应用提供执行环境的文件系:容器镜像打包了整个操作系统的文件和目录(rootfs),也包括应用本身,即应用及其运行所需的所有依赖都被封装在容器镜像中。

容器镜像采用分层结构:所有容器共享宿主机Kernel,并且不能修改宿主机Kernel ·即容器运行过程中使用容器镜像中的文件,使用宿主机OS上的Kermel

• Build any Application：根据image format spec标准，任何应用都可以被制作成容器镜像，
• Ship any Anywhere：根据runtime spec标准，容器镜像可以传送到任何环境中运行。

容器镜像只是提供了一套镜像文件系统中的各种文件,而各种内核相关的模块或者特性支持,完全依赖于宿主机。

UnionFS联合文件系统

Docker镜像分层结构的实现，借助于UnionFS联合文件系统的能力.

Union File System联合文件系统,是实现Docker镜像的技术基础。它是一种轻量级的高性能分层文件系统,支持将文件系统中的修改进行提交和层层叠加。这个特性使得镜像可通过分层实现和继承。同时支持将不同目录挂载到同一个虚拟文件系统下。

以Overlay2为例: Overlay2是一种堆叠文件系统,它依赖并建立在其它的文件系统之上(如ext4fs、xfs等),并不直接参与磁盘空间结构的划分,仅将原来底层文件系统中不同的目录进行“合并”,然后向用户呈现,这也就是联合挂载技术。

嗯，这里不太理解，感觉整理类似是linux中的LVM，局部类似写时复制技术，基础的镜像文件不会被修改，只是对修改进行记录，在写入的时候，对镜像文件写入部分进行复制，然后修改后记录。看到的是基础镜像文件 + 写时复制的记录的叠加。

容器数据卷

卷就是目录或文件,存在于一个或多个容器中,由docker挂载到容器,但不属于联合文件系统,因此能够绕过Union File System提供一些用于持续存储或共享数据的特性。

将运用与运行的环境打包形成容器运行,对数据的要求希望是持久化的。
容器之间希望有可能共享数据。

卷的设计目的就是数据的持久化,完全独立于容器的生存周期,因此Docker不会在容器删除时删除其挂载的数据卷。

• 启动容器的时候直接使用-v命令就可以进行数据卷的挂载。
• 还可以在Dockerfile中使用VOLUME指令来给镜像添加一个或多个数据卷,

容器copy-on-write特性

对容器的增删改查：

• 创建文件:新文件只能被添加在容器层中。
• 删除文件:依据容器分层结构由上往下依次查找。找到后,在容器层中记录该删除操作。具体删除文件实现是:UnionFS会在容器层创建一个"whiteout"文件,将被删除的文件“遮挡”起来。
• 修改文件:依据容器分层结构由上往下依次查找。找到后,将镜像层中的数据复制到容器层进行修改,修改后的数据保存在容器层中(copy-on-write)。
• 读取文件:依据容器分层结构由上往下依次查找,

所有storage driver都支持镜像分层结构和写时复制(CoW)策略。

Registry

Registry是存放容器镜像的仓库,用户可进行镜像下载和访问,分为公有和私有两类Registry。

公有镜像仓库:

• Docker Hub是Docker公司为公众提供的托管Registry。
• Quay.io现为Red Hat下的公共托管Registryo

私有镜像仓库:

• 企业可以用Docker Registry构建私有的Registry。Registry本身是一个开源项目,可以用于搭建私有Registry

Docker Hub中可查看到Registry镜像的Dockerfile。

Docker Hub

Docker Hub是目前世界上最大的容器镜像仓库,由Docker公司维护,并提供官方镜像及大量用户上传的镜像。

如何使用Dockerfile构建镜像

Dockerfile是一个文本文件,其内包含了一条条的指令,每一条指令构建一层,因此每一条指令的内容,就是描述该层应当如何构建。所以为了减少存储占用，一般尽可能把run指令写到一行。

Docker提供了两种构建镜像的方法：docker commit命令与dockerfile构建文件。

Dockerfile

Dockerfile :文件指令集,描述如何自动创建Docker镜像。

• Dockerfile是包含若干指令的文本文件,可以通过这些指令创建出docker image。
• Dockerfile文件中的指令执行后,会创建一个个新的镜像层。
• Dockerfile文件中的注释以"#"开始。
• Dockerfile一般由4部分组成:
  • 基础镜像信息.
  • 维护者信息
  • 镜像操作指令
  • 容器启动指令
• build context :为镜像构建提供所需的文件或目录。

描述	指令
指定base镜像	FROM
注明镜像的作者	MAINTAINED
运行指定的命令	RUN
将文件从build context复制到镜像中	ADD
将文件从build context复制到镜像中(自动解压)	COPY
设置环境变量	ENV
指定容器中的应用监听的端口	EXPOSE
设置后动容器的用户	USER
设置在容器启动时运行指定的脚本或命令	CMD
指定的是一个可执行的脚本或者程序的路径	ENTRYPONT
将文件或目录声明为volume，挂载到容器中	VOLUME
设置镜像的当前工作目录	WORKDIR

Dockerfile的指令根据作用可以分为两种：

• 构建指令：构建指令用于构建image，其指定的操作不会在运行image的容器上
  执行。
• 设置指令：设置指令用于设置image的属性，其指定的操作将在运行image的容器中执行。

Dockerfile指令使用注意事项：

• RUN等指令后运行的必须是基础image支持的命令。如基础image选择了centos，那么软件管理部分只能使用centos的命令。
• ADD指令与COPY指令的不同在于，在ADD指令中，若src是压缩文件，则会自动解压到dest。
• Dockerfile中若有多条CMD命令，则只执行最后一条。
• Dockerfile中若有多条ENTRYPOINT命令，则只执行最后一条。
• CMD与ENTRYPOINT的不同在于：当Docker run command的命令匹配到CMD command时，会替换CMD执行的命令。ENTRYPOINT指令提供的命令则不容易在启动容器时被覆盖。实际上, docker run命令行中指定的任何参数都会被当做参数再次传递给ENTRYPOINT指令中指定的命令。

使用ENTYRPOINT

#ENTRYPOINT [ "/usr/sbin/nginx", "-g" , "daemon off;" ] 
ENTRYPOINT [ "usr/sbin/nginx" ]
sudo docker run -it nginx -g "daemon off;"

同时使用ENTRYPOINT和CMD

ENTRYPOINT [ "/usr/sbin/nginx" ]
CMD [ "-h" ]
#  /usr/sbin/nginx  -h  显示帮助信息

如果确实需要,用户也可以在运行时通过docker run的--entrypoint标志覆盖ENTRYPOINT指令

一个简单的Dockerfile

#基于centos镜像
FROM centos
#维护人的信息
MAINTAINER docker_user [e-mail]
#安装httpd软件包
RUN yum-y update  && RUN yum-y install httpd
#开后80端口
EXPOSE 80
#复制网站首页文件至镜像中web站点下
ADD index.html /var/www/html/index.html
#复制该脚本至镜像中·并修改其权限
ADD run.sh /run.sh
RUN chmod 775 /run.sh
#当后动容器时执行的脚本文件
CMD[/run.sh"]

容器生命周期管理

查看Docker服务状态

┌──[[e-mail]]-[/]
└─$systemctl status docker
● docker.service - Docker Application Container Engine
   Loaded: loaded (/usr/lib/systemd/system/docker.service; enabled; vendor preset: disabled)
   Active: active (running) since 日 2022-04-03 18:43:45 CST; 18h ago
     Docs: https://docs.docker.com
 Main PID: 1120 (dockerd)
   Memory: 157.7M
   CGroup: /system.slice/docker.service
           └─1120 /usr/bin/dockerd --insecure-registry 192.168.26.56 -H fd:// --containerd=/run/containerd/containerd...

4月 03 18:44:51 vms81.liruilongs.github.io dockerd[1120]: time="2022-04-03T18:44:51.153876648+08:00" level=info ...ete"
4月 04 08:07:05 vms81.liruilongs.github.io dockerd[1120]: time="2022-04-04T08:07:05.336006734+08:00" level=error...ifo"
4月 04 08:07:05 vms81.liruilongs.github.io dockerd[1120]: time="2022-04-04T08:07:05.396998780+08:00" level=error...ifo"
4月 04 08:07:05 vms81.liruilongs.github.io dockerd[1120]: time="2022-04-04T08:07:05.406139699+08:00" level=error...own"
4月 04 08:07:06 vms81.liruilongs.github.io dockerd[1120]: time="2022-04-04T08:07:06.332774038+08:00" level=info ...ete"
4月 04 08:07:06 vms81.liruilongs.github.io dockerd[1120]: time="2022-04-04T08:07:06.336614138+08:00" level=error...ifo"
4月 04 08:07:06 vms81.liruilongs.github.io dockerd[1120]: time="2022-04-04T08:07:06.353399388+08:00" level=error...ifo"
4月 04 08:07:06 vms81.liruilongs.github.io dockerd[1120]: time="2022-04-04T08:07:06.384605677+08:00" level=info ...rce"
4月 04 08:07:06 vms81.liruilongs.github.io dockerd[1120]: time="2022-04-04T08:07:06.600509732+08:00" level=error...own"
4月 04 08:07:07 vms81.liruilongs.github.io dockerd[1120]: time="2022-04-04T08:07:07.067233807+08:00" level=info ...ete"
Hint: Some lines were ellipsized, use -l to show in full.
┌──[[e-mail]]-[/]
└─$

容器生命周期管理

容器生命周期管理命令：

• docker create：创建一个容器；
• docker start：启动一个容器；
• docker run：创建并运行一个容器；
• docker pause：暂停一个容器；
• docker unpause：恢复一个容器；
• docker restart：重启一个容器；
• docker stop：停止一个运行的容器；
• docker rm：删除一个处于终止状态的容器；
• docker kill：杀死容器进程

进入一个容器

docker attach命令：

• docker attach命令直接进入已启动容器的命令终端，不会启动新的进程。
• Usage：docker attach [OPTIONS] CONTAINER

docker exec命令：

• docker exec命令是在容器中打开新的终端。
• Usage：docker exec [OPTIONS] CONTAINER COMMAND [ARG…]

其他常见命令

• 使用docker inspect获取容器/镜像元数据。
• 使用docker tovp命令查看容器中运行的进程信息。
• 使用docker events从服务器获取实时事件。
• 使用docker port列出指定的容器的端口映射。