Docker私有仓库之registry与Cgroup资源控制

Posted 2021-10-02 28线不知名云架构师

一、registry私有仓库

docker pull registry

vim /etc/docker/daemon.json
	{
	 "insecure-registries":["192.168.231.128:5000"],		##添加，本地地址端口：5000
	  "registry-mirrors": ["https://t466r8qg.mirror.aliyuncs.com"]
	}
systemctl restart docker
docker create -it registry /bin/bash
docker ps -a
CONTAINER ID   IMAGE      COMMAND                  CREATED         STATUS    PORTS     NAMES
32f2edef4ada   registry   "/entrypoint.sh /bin…"   8 seconds ago   Created             jovial_mcclintock
docker start 32f2edef4ada
docker ps -a		##查询状态 异常退出

 

docker run -d -p 5000:5000 -v /data/registry:/tmp/registry registry
docker ps -a

docker tag nginx:latest 192.168.231.128:5000/nginx		##打上标签
docker push 192.168.231.128:5000/nginx		

curl -XGET http://192.168.231.128:5000/v2/_catalog		##显示上传成功 
{"repositories":["nginx"]}

docker rmi 192.168.231.128:5000/nginx
docker pull 192.168.231.128:5000/nginx		##下载

 

二、Cgroup资源

2.1、Cgroup概述

Docker通过Cgroup来控制容器使用额资源配额，包括CPU、内存、磁盘三大方面，基本覆盖了常见的资源配额很使用量控制

Cgroup是Control Groups的缩写，是Linux内核提供额一种可以限制、记录、隔离进程组所使用的物理资源（如CPU、内存、磁盘、IO等）等机制，被LXC、docker等很多项目用于实现进程资源控制。Cgroup本身是提供将进程进行分组化管理的功能和接口的基础结构，I/O 或内存的分配控制等具体的资源管理功能是通过这个功能来实现的，这些具体的资源管理功能称为Cgroup子系统，有以下几大子系统实现：

blkio：设置限制每个块设备的输入输出控制，例如：磁盘、光盘以及usb等
CPU：使用调度程序为cgroup任务提供CPU的访问
cpuacct：产生cgroup任务的CPU资源报告
cpuset：如果是多核心的CPU，这个子系统会为cgroup任务分配单独的CPU和内存
devices：允许或拒绝cgroup任务对设备的访问
freezer：暂停和恢复cgroup任务
memory：设置每个cgroup的内存限制以及产生内存资源报告
net_cls：标记每个网络包以供cgroup方便使用
ns：命名空间子系统
perf_event：增加了对每个group的监测跟踪的能力，可以监测属于某个特定的group的所有线程以及运行在特定CPU上的线程

2.2、CPU使用率控制

1. CPU周期:1s为一个周期的定律，参数值一般为100000 (CPU衡量单位是秒)
2. 假如需要给此容器分配CPU使用率的20%,则参数需要设置为20000,相当于每个周期分配给这个容器0.2sCPU。
3. 在一个时刻，只能给一个进程占用。

2.3 使用stress工具测试CPU和内存

使用dockerfile创建一个基于centos的stress的工具镜像
[root@docker ~]# mkdir /opt/stress
[root@docker ~]# vim /opt/stress/Dockerfile
FROM centos:7
RUN yum -y install wget
RUN wget -O /etc/yum.repos.d/epel.repo http://mirrors.aliyun.com/repo/epel-7.repo
RUN yum -y install stress

[root@docker ~]# cd /opt/stress/
[root@docker stress]# docker build -t centos:stress .

#使用如下命令创建容器，命令中的--cpu-shares参数值不能保证可以获得1个vcpu或者多少GHz的CPU资源，它仅是一个弹性的加权值。
[root@docker stress]# docker run -itd --cpu-shares 100 centos:stress
9bde7ca43bdf8a717634f1fa3d8903cf5497b4f3fa20da689f275aab520adf32
ps：默认情况下，每个Docker容器的CPU份额都是1024。
单独一个容器的份额是没有意义的。只有在同时运行多个容器时，容器的CPU加权的效果才能体现出来。

Cgroups只在容器分配的资源紧缺时，即在需要对容器使用的资源进行限制时，才会生效。因此，无法单纯根据某个容器的CPU份额来确定有多少CPU资源分配给它，资源分配结果取决于同时运行的其他容器的CPU分配和容器中进程运行情况。可以通过cpu share可以设置容器便用CPU的优先级/权重，比如启动了两个容器及运行查看CPU使用百分比

[root@docker stress]# docker run -tid --name cpu512 --cpu-shares 512 centos:stress stress -c 10 #容器产生10个子函数进程，512的优先级
ea1bf2b7259c8aa3333c67b9af9c6f941c63f140a3299e0a2b24c310dd246dde
[root@docker stress]# docker run -tid --name cpu1024 --cpu-shares 1024 centos:stress stress -c 10 #容器产生10个子函数进程，1024的优先级
2e386164117ae32001d4bf5f40c38f4598f5800aa546c441f3ac24b6dfde0b38
[root@docker stress]# docker stats #查看资源使用

2.4 CPU周期限制

Docker提供了–cpu-period、–cpu-quota两个参数控制容器可以分配到的CPU时钟周期。
cpu-period 是用来指定容器对CPU的使用要在多长时间内做一次重新分配。
cpu-guota是用来指定在这个周期内，最多可以有多少时间用来跑这个容器。与–cpu-shares不同的是,这种配置是指定一个绝对值，容器对CPU资源的使用绝对不会超过配置的值。
cpu-period和cpu-quota的单位为微秒(us)。cpu-period 的最小值为 1000微秒，最大值为1秒(10*6us) ，默认值为0.1秒(10000o us ) 。
cpu-quota的值默认为-1，表示不做控制。cpu-period 和 cpu-gquota参数一般联合使用。

[root@docker stress]# cd /sys/fs/cgroup/cpu/docker/

[root@docker docker]# cat cpu.cfs_quota_us #查看cpu-quota值
-1
[root@docker docker]# cat cpu.cfs_period_us #查看cpu-period，默认刷新时间0.1s
100000
[root@docker docker]# docker run -itd --name centos_quota1 --cpu-period 100000 --cpu-quota 200000 centos:stress 
9f8ca36292cb0dd0256882d072a1471973a80990fcfa701a4bbc8e292c24b51d
[root@docker docker]# cd 9f8ca36292cb0dd0256882d072a1471973a80990fcfa701a4bbc8e292c24b51d/
[root@docker 9f8ca36292cb0dd0256882d072a1471973a80990fcfa701a4bbc8e292c24b51d]# cat cpu.cfs_period_us
100000
[root@docker 9f8ca36292cb0dd0256882d072a1471973a80990fcfa701a4bbc8e292c24b51d]# cat cpu.cfs_quota_us
200000
#可以使用docker inspect centos_quota1查看

 

2.5、cpu core控制资源

对多核CPU的服务器，Docker还可以控制容器运行使用哪些CPU内核，即使用–cpuset-cpus参数。这对具有多CPU的服务器尤其有用，可以对需要高性能计算的容器进行性能最优的配置。

[root@docker docker]# docker run -itd --name cpu --cpuset-cpus 0-1 centos:stress
89412e9815481d1ffb22121a2492bfa6dc31e904110e36e95524ef860f19adae
[root@docker docker]# cd /sys/fs/cgroup/cpuset/docker/

[root@docker docker]# cd 89412e9815481d1ffb22121a2492bfa6dc31e904110e36e95524ef860f19adae/
[root@docker 89412e9815481d1ffb22121a2492bfa6dc31e904110e36e95524ef860f19adae]# cat cpuset.cpus
0-1

[root@docker ~]# docker exec 89412e981548 taskset -c -p 1 #容器内部第一个进程号pid为1被绑定到指定的CPU上运行
pid 1's current affinity list: 0,1

 

2.6、CPU配额控制参数的混合使用

通过cpuset-cpus 参数指定容器A使用CPU内核0，容器B只是用cPU内核1。
在主机上只有这两个容器使用对应CPU内核的情况，它们各自占用全部的内核资源，cpu-shares 没有明显效果

[root@docker ~]# docker run -tid --name cpu1 --cpuset-cpus 1 --cpu-shares 512 centos:stress stress -c 1
dff4e26e7e683e892b1dec17bb322e9d3768eff07e8dab7f725c6b6ad61c7826
[root@docker ~]# top #按1查看每个核心的占用

[root@docker ~]# docker run -tid --name cpu2 --cpuset-cpus 3 --cpu-shares 1024 centos:stress stress -c 1
df8a6b6f7c76c1e271672ee9421324275258cc82c60cb7912b7169c0afe07b13
[root@docker ~]# top

[root@docker ~]# docker run -tid --name cpu3 --cpuset-cpus 3 --cpu-shares 512 centos:stress stress -c 1
077cbf96ffff4138ae47f0675218edf16ba1027f61e039dcb4a98ff058f53455
[root@docker ~]# docker stats

 

 2.7 内存限额

与操作系统类似，容器可使用的内存包括两部分：物理内存和 Swap
Docker 通过下面两组参数来控制容器内存的使用量。
-m或–memory:设置内存的使用限额，例如100M、1024M。
–memory-swap:设置内存+swap的使用限额

[root@docker ~]# docker run -it -m 200M --memory-swap=300M centos:stress
[root@docker ~]# docker run -itd centos:stress
[root@docker ~]# docker stats

 

2.8、Block IO限制

默认情况下，所有容器能平等地读写磁盘，可以通过设置–blkio-weight参数来改变容器block 1o的优先级。
–blkio-weight 与–cpu-shares类似，设置的是相对权重值，默认为500。

[root@docker ~]# cd /sys/fs/cgroup/blkio/docker
[root@docker docker]# docker run -itd --name container_1 --blkio-weight 600 centos:stress
[root@docker docker]# docker run -itd --name container_2 --blkio-weight 300 centos:stress

 2.9 bps和iops

bps是byte per second，每秒读写的数据量。
iops是io per second，每秒Io的次数。
可通过以下参数控制容器的bps 和iops：
–device-read-bps，限制读某个设备的bps。
–device-write-bps，限制写某个设备的bps。
–device-read-iops，限制读某个设备的iops。
–device-write-iops，限制写某个设备的iopso

#限制容器写/dev/sda的速率为5M/s
[root@docker ~]# docker run -it --device-write-bps /dev/sda:5MB centos:stress
[root@8126f23243c8 /]# dd if=/dev/zero of=test bs=1M count=10 oflag=direct
10+0 records in
10+0 records out
10485760 bytes (10 MB) copied, 2.00367 s, 5.2 MB/s

#不限制
[root@docker ~]# docker run -it centos:stress
[root@ee204e652078 /]# dd if=/dev/zero of=test bs=1M count=10 oflag=direct
10+0 records in
10+0 records out
10485760 bytes (10 MB) copied, 0.0223384 s, 469 MB/s

2.10 构建镜像时指定镜像限制

参数	详解
–build-arg=[ ]	设置镜像创建时的变量
–cpu-shares	设置cpu使用权重
—cpu-period	限制CPU CFS周期
–cpu-quota	限制CPU CFS配额
–cpuset-cpus	指定使用的CPUid
–cpuset-mems	指定使用的内存id
–disable-content-trust	忽略校验，默认开启
-f	指定要使用的Dockerfile路径;
– force-rm	设置镜像过程中删除中间容器
–isolation	使用容器隔离技术
–label=[ ]	设置镜像使用的元数据
-m	设置内存最大值
–memory-swap	设置Swap的最大值为内存+swap，"-1"表示不限swap
–no-cache	创建镜像的过程不使用缓存
–pull	尝试去更新镜像的新版本
–quiet,-q	安静模式，成功后只输出镜像ID
–rm	设置镜像成功后删除中间容器
–shm-size	设置/dev/ shm的大小，默认值是64M
–ulimit	ulimit配置
–squash	将Dockerfile 中所有的操作压缩为一层
–tag, -t	镜像的名字及标签，通常name:tag或者name格式;可以在一次构建中为一个镜像设置多个标签
–network	默认default。在构建期间设置RUN指令的网络模式