Docker-安全CPU限额内存限制IO限制安全加固

Posted 2021-08-24 小蒜不次蒜

目录

• 一、Docker安全介绍
• • 1.命名空间隔离的安全
  • 2.控制组资源控制的安全
• 二、容器资源控制
• • 1.内存限制
  • 2.cpu限额
  • 3.Block IO限制（磁盘IO）
• 三.docker安全加固
• • 1.设置特权级运行的容器
  • 2.设置容器白名单

一、Docker安全介绍

Docker容器的安全性，很大程度上依赖于Linux系统自身，评估Docker的安全性时，主要考虑以下几个方面

Linux内核的命名空间机制提供的容器隔离安全
Linux控制组机制对容器资源的控制能力安全。
Linux内核的能力机制所带来的操作权限安全
Docker程序（特别是服务端）本身的抗攻击性。
其他安全增强机制对容器安全性的影响。

1.命名空间隔离的安全

就是当docker run启动一个容器时，Docker将在后台为容器创建一个独立的命名空间。命名空间提供了最基础也最直接的隔离。
与虚拟机方式相比，通过Linux namespace来实现的隔离不是那么彻底。

[root@server1 ~]# docker run -d --name demo nginx
[root@server1 ~]# docker inspect demo | grep Pid

我们在系统进程里进入pid里查看一下信息！

cd /proc/8980/
cd ns/
ls

2.控制组资源控制的安全

当docker启动一个容器时，Docker将在后台为容器创建一个独立的控制组策略集合。
在 /sys/fs/cgroup 下面有很多诸如 cpuset、cpu、 memory 这样的子目录，也叫子系统。

可以在memory内存看到运行的容器：

cd /sys/fs/cgroup/memory/docker/
ls

可以cpu中看到运行的容器：

二、容器资源控制

Linux Cgroups 的全称是 Linux Control Group。

我们只能限制一个进程使用的资源上限：包括 CPU、内存、磁盘、网络带宽等等。
Linux Cgroups 给用户暴露出来的操作接口是文件系统。
它以文件和目录的方式组织在操作系统的 /sys/fs/cgroup 路径下。

在 /sys/fs/cgroup 下面有很多诸如 cpuset、cpu、 memory 这样的子目录，也叫子系统。
在每个子系统下面，为每个容器创建一个控制组（即创建一个新目录）。
控制组下面的资源文件里填上什么值，就靠用户执行 docker run 时的参数指定。

1.内存限制

容器可用内存包括两个部分：物理内存和swap交换分区。
–m 设置内存使用限额

docker run -it --m 200M -d --name demo nginx
 cd /sys/fs/cgroup/memory/docker/ #可以看到打开的进程

我们进入到刚才的容器中，看到memory.limit_in_bytes内容是内存限制

cd *************
cat memory.limit_in_bytes

但是刚才的demo镜像不能够查看空间，所以我们需要换一个镜像

docker run -m 200M -it --rm busyboxplus
free -m

我们专门创建一个用来测试内存的目录x1

cd /sys/fs/cgroup/memory
mmkdir x1
cd x1/
ls

我们可以发现，创建好的目录x1里面拥有很多配置文件，因为它直接继承上级目录下的所有文件！

然后我们限制上传的内存最大为200M

echo 209715200 > memory.limit_in_bytes
cat memory.limit_in_bytes

下载libcgroup-tools工具

yum install -y libcgroup-tools.x86_64

我们创建指定大小的空间，但是我们发现前面已经设置了最大内存为200M，但是为什么能创建300M的空间呢？

cgexec -g memory:x1 dd if=/dev/zero of=bigfile bs=1M count=300 

那是因为它占用了我们的swap分区的大小！
我们每次创建一定大小空间之后，用free -m查看一下内存情况就明白了！
我们的mem空间并没有使用有效空间都是1432如下图，但是swap空间使用多了100M，这下刚才的疑惑就解决了！！

删除创建的bigfile文件，那么我们是不是把swap分区关闭，创建300M空间就会失败呢？

rm -f bigfile
swapoff -a
free -m
cgexec -g memory:x1 dd if=/dev/zero of=bigfile bs=1M count=300

果然没有了swap分区之后，创建300M分区直接报错！（killed）

但是在实际生产中，swap分区会使用，不能够关闭的！！
所以我们重新打开swap分区，删除bigfile文件！寻找别的方法来解决刚刚的问题：

swapon -a
swapon -s
free -m
rm -f bigfile

我们进入刚才的设置内存大小的路径下：
我们把200M的限制给内存+swap一共200M ，刚才的问题不就解决了马？

 cd /sys/fs/cgroup/memory/x1
 echo 209715200 > memory.memsw.limit_in_bytes      %内存+swap一共给200M

cd /dev/shm
cgexec -g memory:x1 dd if=/dev/zero of=bigfile bs=1M count=300
cgexec -g memory:x1 dd if=/dev/zero of=bigfile bs=1M count=100
du -h *
cgexec -g memory:x1 dd if=/dev/zero of=bigfile bs=1M count=200
du -h *

我们可以看到创建300M空间直接失败！

创建100M成功，创建200M也不行，只能创建199M！

2.cpu限额

我们需要创建一个专门用于测试cpu的目录x2

cd /sys/fs/cgroup/cpu
mmkdir x2
cd x2/
ls

cpu.shares 不是限制进程能使用的绝对的 cpu 时间，而是控制各个组之间的配额！
cpu.shares，表示 CPU Cgroup 对于控制组之间的CPU 分配比例，缺省值是1024

例如：
group3 中的cpu.shares 是1024，group4 中的 cpu.shares 是 3072，那么 group3:group4 = 1：3

我们先设置cpu.shares的配额为100，应该是10/100的cpu损耗！
然后使用dd命令测试cpu的负载情况

echo 100 > cpu.shares
dd if=/dev/zero of=/dev/null &

输入top进入查看cpu消耗，是100，这不合适！是因为只有一个进程所以是100，所以我们还需要再创建一个压力来测试

我们把cpu线程PID写入tasks中

cat tasks
echo 10053 > tasks

我们再测试使用一个损耗打入后台

dd if=/dev/zero of=/dev/null &

top 查看cpu消耗都是100，这还是不合适！

top

因为我们的虚拟机是双cpu的可以独立工作，所以可以关闭一个cpu

cd /sys/devices/system/cpu/cpu1
cat online
echo 0 > online

此时查看top
一个cpu稳定在10左右，另一个90左右

但是实际生产中不能关闭另一个cpu，行不通！
重新打开cpu1,恢复cpu的配额

echo 1 > online
echo 1024 > cpu.shares

cpu.cfs_period_us，它是CFS算法的一个调度周期，一般值是 100000十万，单位是微秒，就是 100ms
cpu.cfs_quota_us，它表示CFS算法中，在一个调度周期里这个控制组被允许的运行时间，比如这个值为 50000时，就是 50ms。

如果用这个值cpu.cfs_quota_us除以调度周期cpu.cfs_period_us,50ms/100ms=0.5，表示这个控制组被允许使用的CPU最大配额就是0.5个CPU

cat cpu.cfs_quota_us
cat cpu.cfs_period_us
echo 20000 > cpu.cfs_quota_us

此时我们这样设置就是允许使用的cpu为0.2个cpu!!

top
查看看到cpu使用为20和设置的效果一样！
注意：追加是>>
如果这个时候我们把另一个cpu也追加入到线程里面

echo 10066 >> tasks

那么这个时候就是两个进程去争夺20的cpu配额
所以每个进程分的10！！如下图：

3.Block IO限制（磁盘IO）

–device-write-bps限制写设备的bps

目前的block IO限制只对direct IO有效。（不使用文件缓存）

docker run -it --rm --device-write-bps /dev/vda:30MB rhel7 bash
dd if=/dev/zero of bigfile bs=1M count=200 oflag=direct
dd if=/dev/zero of bigfile bs=1M count=200

我们可以看到加上oflag=direct参数速度为30MB左右，不加参数，速度为2。6G就差别很大！！

三.docker安全加固

利用LXCFS增强docker容器隔离性和资源可见性

[root@server1 ~]# yum install lxcfs-2.0.5-3.el7.centos.x86_64.rpm -y
[root@server1 ~]#docker pull ubuntu
[root@server1 ~]# lxcfs /var/lib/lxcfs &            ##运行
[root@server1 lxcfs]# docker run  -it -m 256m \\
>       -v /var/lib/lxcfs/proc/cpuinfo:/proc/cpuinfo:rw \\
>       -v /var/lib/lxcfs/proc/diskstats:/proc/diskstats:rw \\
>       -v /var/lib/lxcfs/proc/meminfo:/proc/meminfo:rw \\
>       -v /var/lib/lxcfs/proc/stat:/proc/stat:rw \\
>       -v /var/lib/lxcfs/proc/swaps:/proc/swaps:rw \\
>       -v /var/lib/lxcfs/proc/uptime:/proc/uptime:rw \\
>       ubuntu

我们可以看到mem和swap的大小一致！

我们先运行一个普通的容器
发现控制网络的时候，被拒绝了！

docker run -it --rm  busyboxplus
ip link set down eth0

1.设置特权级运行的容器

–privileged=true
有的时候我们需要容器具备更多的权限，比如操作内核模块，控制swap交换分区，挂载USB磁盘，修改MAC地址等。

docker run -it --rm --privileged=true busyboxplus
ip link set down eth0

这次控制网络eth0成功了！

2.设置容器白名单

–cap-add
–privileged=true 的权限非常大，接近于宿主机的权限，为了防止用户的滥用，需要增加限制，只提供给容器必须的权限。此时Docker 提供了权限白名单的机制，使用–cap-add添加必要的权限。

当我们运行容器给他一定的白名单时候，发现可以进行添加IP，删除IP操作!

docker run -it --rm --cap-add=NET_ADMIN busybox
/ # ip addr add 172.25.0.100/24 dev eth0
/ # ip addr del 172.25.0.100/24 dev eth0

进行添加IP:172.25.0.100

删除ip