docker私有仓库部署cgroup资源限制

Posted 2022-01-27 袁❈晔

私有仓库建立
docker pull registry 
docker pull nginx 

在docker 引擎终端设置
vim /etc/docker/daemon.json 

	 "insecure-registries":["192.168.220.35:5000"],		#添加，本地地址端口：5000
	  "registry-mirrors": ["https://t466r8qg.mirror.aliyuncs.com"]
	
systemctl restart docker
docker create -it registry /bin/bash
docker ps -a
CONTAINER ID   IMAGE      COMMAND                  CREATED         STATUS    PORTS     NAMES
a63be9150b3c   registry   "/entrypoint.sh /bin…"   8 seconds ago   Created             jovial_mcclintock
docker start a63be9150b3c
docker ps -a		#查询状态 异常退出

宿主机的 /data/registry 自动创建挂载容器中的 /tmp/registry
docker run -d -p 5000:5000 -v /data/registry:/tmp/registry registry
docker ps -a

更改nginx标记
docker tag nginx:latest 192.168.220.35:5000/nginx

上传
docker push 192.168.220.35:5000/nginx

获取私有仓库列表
curl -XGET http://192.168.220.35:5000/v2/_catalog 

上传centos:7镜像
docker tag centos:7 192.168.220.35:5000/centos:7
docker push 192.168.220.35:5000/centos:7
curl -XGET http://192.168.220.35:5000/v2/_catalog #没有UI界面

测试私有仓库下载
删除镜像
docker rmi 192.168.220.35:5000/nginx
docker rmi 192.168.220.35:5000/centos:7
下载镜像
docker pull 192.168.220.35:5000/nginx
docker pull 192.168.220.35:5000/centos:7

Cgroup资源

• Docker通过Cgroup来控制容器使用的资源配额，包括CPU、内存、磁盘三大方面，基本覆盖了常见的资源配额和使用量控制。
• Cgroup是ControlGroups的缩写，是Linux内核提供的一种可以限制、记录、隔离进程组所使用的物理资源(如CPU、内存、磁盘I0等等)的机制

CPU使用率控制

cpu周期: 1s为一个周期的定律，参数值一般为100000 (CPU衡量单位是秒)
假如需要给此容器分配cpu使用率的20%,则参数需要设置为20000,相当于每个周期分配给这个容器0.2s
cpu在一个时刻，只能给一个进程占用

利用stress压力测试工具来测试CPU和内存使用状况。

使用Dockerfile 来创建一个基于centos 的stress工具镜像。

mkdir l opt/ stress
vim /opt/ stress/ Dockerfile
FROM centos:7
RUN yum install -y wget
RUN wget -O /etc/yum.repos.d/epel.repo http://mirrors.aliyun.com/repo/epel-7.repo
RUN yum install -y stress

docker build -t centos:stress .

使用如下命令创建容器，命令中的–cpu-shares参数值不能保证可以获得 1个vcpu或者多少GHz的CPU资源,它仅是一个弹性的加权值。
docker run -itd --cpu-shares 100 centos:stress

默认情况下，每个Docker容器的CPU份额都是1024。单独一个容器的份额是没有意义的。只有在同时运行多个容器时，容器的CPU加权的效果才能体现出来。
例如，两个容器A、B的CPU份额分别为1000和
500，在CPU进行时间片分配的时候，容器A比容器B多一倍的机会获得CPU
的时间片。
但分配的结果取决于当时主机和其他容器的运行状态，实际上也无法保证容器
A一定能获得CPU时间片。比如容器A的进程一直是空闲的，
那么容器B是可以获取比容器A更多的CPU时间片的。极端情况下，例如主机上只运行了一个容器，即使它的CPU份额只有50，它也可以独占整个主机的CPU资源。

Cgroups只在容器分配的资源紧缺时，即在需要对容器使用的资源进行限制时，才会生效。因此，无法单纯根据某个容器的CPU份额来确定有多少CPU资源分配给它，资源分配结果取决于同时运行的其他容器的CPU分配和容器中进程运行情况。
可以通过cpu share可以设置容器使用CPU的优先级，比如启动了两个容器及运行查看cPU使用百分比。

docker run -tid --name cpu512 --cpu-shares 512 centos:stress stress -c 10 //容器产生10个子函数进程
docker run -tid --name cpu1024 --cpu-shares 1024 centos:stress stress -c 10 //再开启一个容器做比较

CPU周期限制
Docker提供了–cpu-period、–cpu-quota两个参数控制容器可以分配到的CPU时钟周期。–cpu-period是用来指定容器对CPu的使用要在多长时间内做一次重新分配。
cd /sys/fs/cgroup/cpu/docker 容器ID/cpu.cfs_quota_us

宿主机提供资源、控制docker容器中的应用的方法：
CPU --->VCPU-->以进程的方式体现在vorkstation环境(docker环境中)）---》docker表现形式是容器
-->Vcpu以进程的方式控制容器--》容器中的应用需要的是服务进程支持--》宿主机内核中cpu可以被cgroup管理(通过分配资源手段）--》linux内核中的cgroup可以控制管理docker 容器中的应用

–cpu-quota是用来指定在这个周期内，最多可以有多少时间用来跑这个容器。
与–cpu-shares不同的是,这种配置是指定一个绝对值，容器对CPU资源的使用绝对不会超过配置的值。

cpu-period和 cpu-quota 的单位为微秒(us)。cpu-period的最小值为1000微秒，最大值为1秒（10^6us ） ，默认值为0.1 秒( 100000 us) 。
cpu-quota 的值默认为–1，表示不做控制。cpu-period和 cpu-quota 参数一般联合使用。

docker run -itd --name centos_quota --cpu-period 100000 --cpu-quota 200000 centos:stress 


查询容器的资源限制参数
1、在指定容器目录中
cat /sys/fs/cgroup/cpu/docker/容器ID/cpu.cfs period_us
cat /sys/fs/cgroup/cpu/docker/容器ID/cpu.cfs_quota_us
2、使用docker inspect 容器ID/容器名
docker inspect  centos_quota

CPU Core控制
对多核CPU的服务器，Docker还可以控制容器运行使用哪些CPU内核，即使用–cpuset-cpus 参数。这对具有多CPU的服务器尤其有用，可以对需要高性能计算的容器进行性能最优的配置。
docker run -itd --name cpu1 --cpuset-cpus 0-1 centos:stress
cat /sys/fs/cgroup/cpuset/docker/1600f3d735a849583d22043507e999e69a5b240f26b02273322e4b229c9081a7/cpuset.cpus 
0-1
docker exec 容器ID taskset -c -p 1
//容器内部第一个进程号pid为1被绑定到指定CPU上运行

容器限制资源的方式：
1、创建容器时直接使用参数指定资源限制
2、创建容器后,指定资源分配
修改宿主机对应容器资源控制的文件/sys/fs/cgroup/中的文件

CPU配额控制参数的混合使用
通过cpuset-cpus参数指定容器A使用CPU内核0，容器B只是用CPU内核1。
在主机上只有这两个容器使用对应CPU内核的情况，它们各自占用全部的内核资源，cpu-shares没有明显效果。
cpuset-cpus、cpuset-mems
参数只在多核、多内存节点上的服务器上有效，并且必须与实际的物理配置匹配，否则也无法达到资源控制的目的。
在系统具有多个CPU内核的情况下，需要通过cpuset-cpus参数为设置容器CPU内核才能方便地进行测试。
 

docker run -itd --name cpu2 --cpuset-cpus 1 --cpu-shares 512 centos:stress stress -c 1
docker run -itd --name cpu4 --cpuset-cpus 3 --cpu-shares 1024 centos:stress stress -c 1

 

内存限额
与操作系统类似，容器可使用的内存包括两部分:物理内存和 Swap
Docker 通过下面两组参数来控制容器内存的使用量。

-m或–memory:设置内存的使用限额，例如100M、1024M。
–memory-swap:设置内存+swap 的使用限额。
执行如下命令允许该容器最多使用200M的内存和 300M 的swap
 

docker run -it -m 200M --memory-swap=300M  centos:stress 
默认情况下，容器可以使用主机上的所有空闲内存。
与CPU的cgroups 配置类似，Docker 会自动为容器在目录 /sys/fs/cgroup/memory/docker/<容器的完整长 ID>
中创建相应cgroup配置文件

 Block IO的限制
默认情况下，所有容器能平等地读写磁盘，可以通过设置–blkio-weight参数来改变容器 block Io 的优先级。–blkio-weight 与–cpu-shares类似，设置的是相对权重值，默认为500。
在下面的例子中，容器A读写磁盘的带宽是容器B的两倍。
 

docker run -it --name container_A --blkio-weight 600 centos:stress 
docker run -it --name container_B --blkio-weight 300 centos:stress 

bps和iops 的限制
bps 是byte per second，每秒读写的数据量。
iops 是io per second，每秒IO的次数。可通过以下参数控制容器的bps 和iops

--device-read-bps，限制读某个设备的bps
--device-write-bps，限制写某个设备的bps。--device-read-iops，限制读某个设备的iops
--device-write-iops，I限制写某个设备的iops

构建镜像时指定资源限制

--build-arg=[] :          设置镜像创建时的变量;
--cpu-shares :            设置cpu使用权重;
--cpu-period :            限制CPU CFS周期;
--cpu-quota :             限制CPU CFS配额;
--cpuset-cpus :           指定使用的CPU id;
--cpuset-mems :           指定使用的内存id;
--disable-content-trust : 忽略校验，默认开启;
-f :                      指定要使用的Dockerfile路径;
--force-rm :              设置镜像过程中删除中间容器;
--isolation :             使用容器隔离技术;
--label=[] :              设置镜像使用的元数据;
-m :                      设置内存最大值;
--memory-swap :           设置Swap的最大值为内存swap， "-1"表示不限swap;
--no-cache :              创建镜像的过程不使用缓存;
--pull :                  尝试去更新镜像的新版本;
--quiet, -q :             安静模式，成功后只输出镜像ID;
--rm :                    设置镜像成功后删除中间容器;
--shm-size :              设置/dev/shm的大小，默认值是64M;
--ulimit :                Ulimit配置;
--squash :                将Dockerfile 中所有的操作压缩为一层;
--tag, -t:                镜像的名字及标签，通常name:tag或者name格式;可以在一次构建中为一个镜像设置多个标签。
--network :               默认default；在构建期间设置RUN指令的网络模式