企业运维实战--最全Docker学习笔记5.Docker安全容器资源控制安全加固

Posted 2021-08-24 Rabbitgo_hyl

企业运维实战--最全Docker学习笔记5.Docker安全、容器资源控制、安全加固

• 一、Docker安全
• 二、Docker容器资源控制
• • 1.内存限制
  • 2.cpu限制
  • 3.Block IO限制
• 三、Docker安全加固

---

一、Docker安全

Docker容器的安全性，很大程度上依赖于Linux系统自身，评估Docker的安全性时，主要考虑以下几个方面：

• Linux内核的命名空间机制提供的容器隔离安全
• Linux控制组机制对容器资源的控制能力安全。
• Linux内核的能力机制所带来的操作权限安全
• Docker程序（特别是服务端）本身的抗攻击性。
• 其他安全增强机制对容器安全性的影响。

命名空间隔离的安全：
当docker run启动一个容器时，Docker将在后台为容器创建一个独立的命名空间。命名空间提供了最基础也最直接的隔离。与虚拟机方式相比，通过Linux namespace来实现的隔离不是那么彻底。在 Linux 内核中，有很多资源和对象是不能被 Namespace 化的，比如：时间。

控制组资源控制的安全：

• 当docker run启动一个容器时，Docker将在后台为容器创建一个独立的控制组策略集合。

• Linux Cgroups提供了很多有用的特性，确保各容器可以公平地分享主机的内存、CPU、磁盘IO等资源。

• 确保当发生在容器内的资源压力不会影响到本地主机系统和其他容器，它在防止拒绝服务攻击（DDoS）方面必不可少。

内核能力机制：

• 能力机制（Capability）是Linux内核一个强大的特性，可以提供细粒度的权限访问控制。
• 大部分情况下，容器并不需要“真正的”root权限，容器只需要少数的能力即可。
• 默认情况下，Docker采用“白名单”机制，禁用“必需功能”之外的其他权限。

Docker服务端防护：

• 使用Docker容器的核心是Docker服务端，确保只有可信的用户才能访问到Docker服务。
• 将容器的root用户映射到本地主机上的非root用户，减轻容器和主机之间因权限提升而引起的安全问题。
• 允许Docker 服务端在非root权限下运行，利用安全可靠的子进程来代理执行需要特权权限的操作。这些子进程只允许在特定范围内进行操作。

其他安全特性：

• 在内核中启用GRSEC和PAX，这将增加更多的编译和运行时的安全检查；并且通过地址随机化机制来避免恶意探测等。启用该特性不需要Docker进行任何配置。

• 使用一些有增强安全特性的容器模板。

• 用户可以自定义更加严格的访问控制机制来定制安全策略。

• 在文件系统挂载到容器内部时，可以通过配置只读模式来避免容器内的应用通过文件系统破坏外部环境，特别是一些系统运行状态相关的目录。

二、Docker容器资源控制

Linux Cgroups，全称 Linux Control Group，是限制一个进程组能够使用的资源上限，包括 CPU、内存、磁盘、网络带宽等等。
对进程进行优先级设置、审计，以及将进程挂起和恢复等操作。
Linux cgroups以文件和目录的方式组织在操作系统的 /sys/fs/cgroup 路径下。在 /sys/fs/cgroup 下面有很多诸如 cpuset、cpu、 memory 这样的子目录，也叫子系统。

1.内存限制

进入容器限制目录，查看内存限制，与本机一致，是继承本机的限制

容器限制目录

cd /sys/fs/cgroup/memory/docker/

进入子进程目录

cd 3fb95a0d13764c5c521071f8d8fa20f2e728aebb5f7db9fc99810f4dcf937e19

查看内存最大限制

cat memory.limit_in_bytes

进入上一条目录，查看主机内存最大限制

cd ..
cat memory.limit_in_bytes

查看docker run用于内存限制的用法

docker run --help |grep mem

限制内存大小为200M拉起容器

docker run -m 200M -d --name demo nginx

进入容器进程目录，查看限制文件

cd ac48768ec187807975648dc9b3b076d2128f801008c2482faa8ddad327f406d0

可以看到文件修改为200M

cat memory.limit_in_bytes

/dev/shm/是一个在内存中的目录，在此目录/dev/shm/中创建文件会占用内存

cd /dev/shm/
free -m
dd if=/dev/zero of=bigfile bs=1M count=100
free -m

完成测试后记得删除测试文件，避免长期占用内存
rm -f bigfile

创建新的项目x1的限制目录，会自动继承主机的限制文件

cd  /sys/fs/cgroup/memory/
mkdir x1

限制x1内存最大为200M

echo 209715200 > memory.limit_in_bytes
cat memory.limit_in_bytes

进入内存中的目录/dev/shm/，安装cgroup操作命令模块

cd /dev/shm/
yum search cgroup
yum install -y libcgroup-tools.x86_64

cgexec -g memory:x1 dd if=/dev/zero of=bigfile bs=1M count=100
cgexec -g memory:x1 dd if=/dev/zero of=bigfile bs=1M count=300

300也可以的原因是启用了swap分区
删除测试文件，关闭swap分区

rm -f bigfile
swapoff -a

无法使用大于200的内存，限制成功

cgexec -g memory:x1 dd if=/dev/zero of=bigfile bs=1M count=300

swap分区别的应用也会用,无法关闭，所以需要限制内存和swap分区共同的大小

swapon -a
swapon -s
rm -f bigfile

echo 209715200 > memory.memsw.limit_in_bytes

再次进入/dev/shm目录中

cgexec -g memory:x1 dd if=/dev/zero of=bigfile bs=1M count=300

2.cpu限制

进入cpu限制目录

cd /sys/fs/cgroup/cpu

创建新的项目x2

mkdir x2
cd x2

查看进程优先级，重新给定优先级，需要将进程加入tasks才生效

cat cpu.shares
echo 100 > cpu.shares
cat cpu.shares

创建两个进程

dd if=/dev/zero of=/dev/null &
dd if=/dev/zero of=/dev/null &
top

将进程号写入tasks

echo 28049 > tasks

top查看进程，发现还是100%使用cpu

top

这是因为虚拟机有两个cpu，目前还没有发生资源争抢，关闭cpu1（注意cpu0是无法关闭的），单个cpu再次查看top

cd /sys/devices/system/cpu/cpu1/

cat online
echo 0 > online #输入0则关闭cpu
top

关闭一个cpu后，一个进程为另个进程cpu使用率的10%左右。

重启cpu

echo 1 > online
cat online

恢复进程优先级

cd /sys/fs/cgroup/cpu/x2/
echo 1024 > cpu.shares
top

显示进程分配cpu，默认-1表示任意

cat cpu.cfs_quota_us

显示进程cpu总配额

cat cpu.cfs_period_us

给定1/5的配额

echo 20000 > cpu.cfs_quota_us
cat cpu.cfs_quota_us

查看top

top

可以看到 一个进程是另一进程的1/5

测试结束关闭后台进程

fg 打开后台的进程，ctrl+c 结束进程

3.Block IO限制

--device-write-bps限制写设备的bps

拉起容器，限制IO速率为30M

docker run -it --rm --device-write-bps /dev/vda:30MB rhel7 bash

direct IO 不使用文件缓存

dd if=/dev/zero of=bigfile bs=1M count=300 oflag=direct

dd if=/dev/zero of=bigfile bs=1M count=300

三、Docker安全加固

lxcfs增强容器隔离性和资源可见性

安装并开启服务，查看进程

yum install -y lxcfs-2.0.5-3.el7.centos.x86_64.rpm
lxcfs /var/lib/lxcfs &
ps ax

利用lxcfs增强docker容器隔离性和资源可见性

docker run  -it -m 256m       -v 
/var/lib/lxcfs/proc/cpuinfo:/proc/cpuinfo:rw       -v /var/lib/lxcfs/proc/diskstats:/proc/diskstats:rw       -v /var/lib/lxcfs/proc/meminfo:/proc/meminfo:rw       -v /var/lib/lxcfs/proc/stat:/proc/stat:rw       -v /var/lib/lxcfs/proc/swaps:/proc/swaps:rw       -v /var/lib/lxcfs/proc/uptime:/proc/uptime:rw       ubuntu

没有ubuntu镜像可以直接拉取

容器内可以只管看到，内存被限制

有的时候我们需要容器具备更多的权限，比如操作内核模块，控制swap交换分区，挂载USB磁盘，修改MAC地址等。

设置特权级运行的容器：--privileged=true

不加特权什么都干不了

docker run -it --rm busybox

加了特权什么都能干

docker run -it --rm --privileged=true busybox

–privileged=true权限过大，所以需要设置容器白名单来限制权限

capabilities手册地址：
http://man7.org/linux/man-pages/man7/capabilities.7.html

docker run -it --rm --cap-add=NET_ADMIN busybox

只允许进行网络操作，fdisk -l不可以