企业运维容器之 docker 安全
Posted 123坤
tags:
篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了企业运维容器之 docker 安全相关的知识，希望对你有一定的参考价值。
企业运维容器之 docker 安全
1. Docker 安全
- Docker 容器的安全性，很大程度上依赖于Linux系统自身，因为共享的是 linux 的内核；评估Docker的安全性时，主要考虑以下几个方面：
Linux 内核的命名空间机制提供的容器隔离安全；
Linux 控制组机制对容器资源的控制能力安全；
Linux 内核的能力机制所带来的操作权限安全；
Docker程序（特别是服务端）本身的抗攻击性；
其他安全增强机制对容器安全性的影响。
[root@server2 volumes]# docker ps
CONTAINER ID IMAGE COMMAND CREATED STATUS PORTS NAMES
[root@server2 volumes]# docker run -d --name demo nginx
957483e929c0f30663511f76760bb6338b0f04335b21dfa62c5978340dbff9c3
[root@server2 volumes]# docker ps
CONTAINER ID IMAGE COMMAND CREATED STATUS PORTS NAMES
957483e929c0 nginx "/docker-entrypoint.…" 4 seconds ago Up 3 seconds 80/tcp demo
[root@server2 volumes]# docker inspect demo | grep Pid
"Pid": 6489,
"PidMode": "",
"PidsLimit": null,
[root@server2 volumes]# cd /proc/6489/ ##独立的命名空间和进程同名；
[root@server2 6489]# cd ns/
[root@server2 ns]# ls
ipc mnt net pid user uts
运行起来的容器时没有接口的；只有一个套接字来供本机连接；
[root@server2 docker]# cd /run/
[root@server2 run]# ls
auditd.pid cryptsetup docker.sock lvmetad.pid rhsm sysconfig user
console dbus faillock mount rpcbind.sock syslogd.pid utmp
containerd dmeventd-client initramfs netreport sepermit systemd xtables.lock
convoy dmeventd-server lock plymouth setrans tmpfiles.d
crond.pid docker log qga.state sshd.pid tuned
cron.reboot docker.pid lvm rhnsd.pid sudo udev
- 命名空间隔离的安全
当docker run启动一个容器时，Docker将在后台为容器创建一个独立的命名空间。命名空间提供了最基础也最直接的隔离。
与虚拟机方式相比，通过Linux namespace来实现的隔离不是那么彻底。
容器只是运行在宿主机上的一种特殊的进程，那么多个容器之间使用的就还是同一个宿主机的操作系统内核。
在 Linux 内核中，有很多资源和对象是不能被 Namespace 化的，比如：时间。
共用内核内存：
[root@server2 ~]# docker rm -f demo
demo
[root@server2 ~]# docker run -it --rm busybox
/ # ls
bin dev etc home proc root sys tmp usr var
/ # ip addr
1: lo: <LOOPBACK,UP,LOWER_UP> mtu 65536 qdisc noqueue qlen 1000
link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00
inet 127.0.0.1/8 scope host lo
valid_lft forever preferred_lft forever
18: eth0@if19: <BROADCAST,MULTICAST,UP,LOWER_UP,M-DOWN> mtu 1500 qdisc noqueue
link/ether 02:42:ac:11:00:02 brd ff:ff:ff:ff:ff:ff
inet 172.17.0.2/16 brd 172.17.255.255 scope global eth0
valid_lft forever preferred_lft forever
/ # free -m
total used free shared buff/cache available
Mem: 1998 214 1228 0 555 1624
Swap: 2047 0 2047
/ #
[root@server2 ~]# free -m
total used free shared buff/cache available
Mem: 1998 162 1262 16 573 1658
Swap: 2047 0 2047
-
控制组资源控制的安全
当docker run启动一个容器时，Docker将在后台为容器创建一个独立的控制组策略集合。
Linux Cgroups提供了很多有用的特性，确保各容器可以公平地分享主机的内存、CPU、磁盘IO等资源。
确保当发生在容器内的资源压力不会影响到本地主机系统和其他容器，它在防止拒绝服务攻击（DDoS）方面必不可少。 -
内核能力机制
能力机制（Capability）是Linux内核一个强大的特性，可以提供细粒度的权限访问控制。
大部分情况下，容器并不需要“真正的”root权限，容器只需要少数的能力即可。
默认情况下，Docker采用“白名单”机制，禁用“必需功能”之外的其他权限。
虽然是root 但是没有权限：
[root@server2 ~]# docker run -it --rm busybox
/ # id
uid=0(root) gid=0(root) groups=10(wheel)
/ # ip addr
1: lo: <LOOPBACK,UP,LOWER_UP> mtu 65536 qdisc noqueue qlen 1000
link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00
inet 127.0.0.1/8 scope host lo
valid_lft forever preferred_lft forever
20: eth0@if21: <BROADCAST,MULTICAST,UP,LOWER_UP,M-DOWN> mtu 1500 qdisc noqueue
link/ether 02:42:ac:11:00:02 brd ff:ff:ff:ff:ff:ff
inet 172.17.0.2/16 brd 172.17.255.255 scope global eth0
valid_lft forever preferred_lft forever
/ # ip link set down eth0
ip: SIOCSIFFLAGS: Operation not permitted
/ #
-
Docker服务端防护
使用Docker容器的核心是Docker服务端，确保只有可信的用户才能访问到Docker服务。
将容器的root用户映射到本地主机上的非root用户，减轻容器和主机之间因权限提升而引起的安全问题。
允许Docker 服务端在非root权限下运行，利用安全可靠的子进程来代理执行需要特权权限的操作。这些子进程只允许在特定范围内进行操作。 -
其他安全特性
在内核中启用GRSEC和PAX，这将增加更多的编译和运行时的安全检查；并且通过地址随机化机制来避免恶意探测等。启用该特性不需要Docker进行任何配置。
使用一些有增强安全特性的容器模板。
用户可以自定义更加严格的访问控制机制来定制安全策略。
在文件系统挂载到容器内部时，可以通过配置只读模式来避免容器内的应用通过文件系统破坏外部环境，特别是一些系统运行状态相关的目录。
2. 容器资源控制
- Linux Cgroups 的全称是 Linux Control Group。
是限制一个进程组能够使用的资源上限，包括 CPU、内存、磁盘、网络带宽等等。
对进程进行优先级设置、审计，以及将进程挂起和恢复等操作。
Linux Cgroups 给用户暴露出来的操作接口是文件系统。
它以文件和目录的方式组织在操作系统的 /sys/fs/cgroup 路径下。
执行此命令查看：mount -t cgroup
[root@server2 ~]# mount -t cgroup ##查看当前系统被挂载的位置
cgroup on /sys/fs/cgroup/systemd type cgroup (rw,nosuid,nodev,noexec,relatime,xattr,release_agent=/usr/lib/systemd/systemd-cgroups-agent,name=systemd)
cgroup on /sys/fs/cgroup/net_cls,net_prio type cgroup (rw,nosuid,nodev,noexec,relatime,net_prio,net_cls)
cgroup on /sys/fs/cgroup/blkio type cgroup (rw,nosuid,nodev,noexec,relatime,blkio)
cgroup on /sys/fs/cgroup/cpuset type cgroup (rw,nosuid,nodev,noexec,relatime,cpuset)
cgroup on /sys/fs/cgroup/memory type cgroup (rw,nosuid,nodev,noexec,relatime,memory)
cgroup on /sys/fs/cgroup/cpu,cpuacct type cgroup (rw,nosuid,nodev,noexec,relatime,cpuacct,cpu)
cgroup on /sys/fs/cgroup/freezer type cgroup (rw,nosuid,nodev,noexec,relatime,freezer)
cgroup on /sys/fs/cgroup/perf_event type cgroup (rw,nosuid,nodev,noexec,relatime,perf_event)
cgroup on /sys/fs/cgroup/hugetlb type cgroup (rw,nosuid,nodev,noexec,relatime,hugetlb)
cgroup on /sys/fs/cgroup/devices type cgroup (rw,nosuid,nodev,noexec,relatime,devices)
cgroup on /sys/fs/cgroup/pids type cgroup (rw,nosuid,nodev,noexec,relatime,pids)
在 /sys/fs/cgroup 下面有很多诸如 cpuset、cpu、 memory 这样的子目录，也叫子系统。
在每个子系统下面，为每个容器创建一个控制组（即创建一个新目录）。
控制组下面的资源文件里填上什么值，就靠用户执行 docker run 时的参数指定。
[root@server2 ~]# cd /sys/fs/cgroup/
[root@server2 cgroup]# ls
blkio cpuacct cpuset freezer memory net_cls,net_prio perf_event systemd
cpu cpu,cpuacct devices hugetlb net_cls net_prio pids
- CPU限额
docker run -it --cpu-period=100000 --cpu-quota=20000 ubuntu
cpu_period 和 cpu_quota 这两个参数需要组合使用，用来限制进程在长度为 cpu_period 的一段时间内，只能被分配到总量为 cpu_quota 的 CPU 时间，以上设置表示20%的 cpu 时间。
对于当前cpu 大小为1G，设置 cpu 使用大小为100；当发生资源争抢时占十分之一；
[root@server2 ~]# docker run --help|grep cpu
[root@server2 ~]# cd /sys/fs/cgroup/cpu/
[root@server2 cpu]# ls
cgroup.clone_children cpuacct.stat cpu.cfs_quota_us cpu.stat system.slice
cgroup.event_control cpuacct.usage cpu.rt_period_us docker tasks
cgroup.procs cpuacct.usage_percpu cpu.rt_runtime_us notify_on_release user.slice
cgroup.sane_behavior cpu.cfs_period_us cpu.shares release_agent
[root@server2 cpu]# mkdir x2
[root@server2 cpu]# cd x2/
[root@server2 x2]# ls
cgroup.clone_children cpuacct.usage cpu.rt_period_us notify_on_release
cgroup.event_control cpuacct.usage_percpu cpu.rt_runtime_us tasks
cgroup.procs cpu.cfs_period_us cpu.shares
cpuacct.stat cpu.cfs_quota_us cpu.stat
[root@server2 x2]# cat cpu.shares
1024
[root@server2 x2]# echo 100 > cpu.shares
[root@server2 ~]# lscpu
[root@server2 ~]# cd /sys/devices/system/cpu/
[root@server2 cpu]# ls
cpu0 cpuidle kernel_max nohz_full online power smt vulnerabilities
cpu1 isolated modalias offline possible present uevent
[root@server2 cpu]# cd cpu1/
[root@server2 cpu1]# ls
cache crash_notes_size firmware_node online subsystem uevent
crash_notes driver node0 power topology
[root@server2 cpu1]# cat online
1
[root@server2 cpu1]# echo 0 > online ##关闭指定 cpu
[root@server2 cpu1]# cat online
0
开启两个进程，来看其对于 cpu 的争抢测试：
[root@server2 cpu1]# top
##此时用 top 查看时就只有一个 cpu
[root@server2 cpu1]# dd if=/dev/zero of=/dev/null &
[1] 7529
[root@server2 cpu1]# cgexec -g cpu:x2 dd if=/dev/zero of=/dev/null &
[2] 7530
[root@server2 cpu1]# top
##此时用 top 看时，对于cg 开启的进程只占 10 分之一；
PID USER PR NI VIRT RES SHR S %CPU %MEM TIME+ COMMAND
7529 root 20 0 107996 620 524 R 91.0 0.0 0:32.10 dd
7530 root 20 0 107996 620 524 R 8.6 0.0 0:01.75 dd
7531 root 20 0 161980 2208 1560 R 0.3 0.1 0:00.01 top
还原之前的 cpu 内存和数量，限制 cpu 的百分比；
[root@server2 ~]# cd /sys/fs/cgroup/cpu/x2/
[root@server2 x2]# ls
cgroup.clone_children cpuacct.usage cpu.rt_period_us notify_on_release
cgroup.event_control cpuacct.usage_percpu cpu.rt_runtime_us tasks
cgroup.procs cpu.cfs_period_us cpu.shares
cpuacct.stat cpu.cfs_quota_us cpu.stat
[root@server2 x2]# echo 1024 > cpu.shares
[root@server2 ~]# cd /sys/devices/system/cpu/cpu1
[root@server2 cpu1]# ls
crash_notes crash_notes_size driver firmware_node node0 online power subsystem uevent
[root@server2 cpu1]# echo 1 > online
[root@server2 cpu1]# cd /sys/fs/cgroup/
[root@server2 cgroup]# ls
blkio cpuacct cpuset freezer memory net_cls,net_prio perf_event systemd
cpu cpu,cpuacct devices hugetlb net_cls net_prio pids
[root@server2 cgroup]# cd cpu
[root@server2 cpu]# cd x2/
[root@server2 x2]# ls
cgroup.clone_children cpuacct.usage cpu.rt_period_us notify_on_release
cgroup.event_control cpuacct.usage_percpu cpu.rt_runtime_us tasks
cgroup.procs cpu.cfs_period_us cpu.shares
cpuacct.stat cpu.cfs_quota_us cpu.stat
[root@server2 x2]# cat cpu.cfs_quota_us
-1
[root@server2 x2]# cat cpu.cfs_period_us
100000
[root@server2 x2]# echo 20000 > cpu.cfs_quota_us
[root@server2 x2]# cat cpu.cfs_quota_us
##设定大小为百分之二十
20000
运行进程来测试；
[root@server2 x2]# dd if=/dev/zero of=/dev/null &
[1] 7596
[root@server2 x2]# cgexec -g cpu:x2 dd if=/dev/zero of=/dev/null &
[2] 7597
[root@server2 x2]# top
PID USER PR NI VIRT RES SHR S %CPU %MEM TIME+ COMMAND
7596 root 20 0 107996 620 524 R 100.0 0.0 0:50.09 dd
7597 root 20 0 107996 616 524 R 20.3 0.0 0:01.74 dd
7598 root 20 0 161980 2208 1560 R 0.3 0.1 0:00.01 top
除了以上的放式，还可以在运行容器时指定cpu百分比；
[root@server2 ~]# docker run --help | grep cpu
[root@server2 ~]# docker run -d --name demo --cpu-quota 10000 nginx
5e9fef22786fcbc12a044dc84495b69a23ce1eac7e9d320d92c22d19ac7d88da
[root@server2 ~]# cd /sys/fs/cgroup/cpu/docker/
[root@server2 docker]# ls
5e9fef22786fcbc12a044dc84495b69a23ce1eac7e9d320d92c22d19ac7d88da
[root@server2 docker]# cd 5e9fef22786fcbc12a044dc84495b69a23ce1eac7e9d320d92c22d19ac7d88da
[root@server2 5e9fef22786fcbc12a044dc84495b69a23ce1eac7e9d320d92c22d19ac7d88da]# cat tasks
7748
7802
##一个是容器进程一个是应用进程
[root@server2 5e9fef22786fcbc12a044dc84495b69a23ce1eac7e9d320d92c22d19ac7d88da]# docker inspect demo | grep Pid
"Pid": 7748,
"PidMode": "",
"PidsLimit": null,
[root@server2 5e9fef22786fcbc12a044dc84495b69a23ce1eac7e9d320d92c22d19ac7d88da]# cat cpu.cfs_quota_us
10000
[root@server2 5e9fef22786fcbc12a044dc84495b69a23ce1eac7e9d320d92c22d19ac7d88da]# docker rm -f demo
demo
[root@server2 5e9fef22786fcbc12a044dc84495b69a23ce1eac7e9d320d92c22d19ac7d88da]# cd -
No such file or directory
##结束进程之后，此时再次返回之前的目录时就没有了
- 内存限制
容器可用内存包括两个部分：物理内存和 swap 交换分区。
docker run -it --memory 200M --memory-swap=200M ubuntu
–memory设置内存使用限额
–memory-swap设置swap交换分区限额
运行一个容器来设置其内存配额；
[root@server2 cgroup]# cd memory/
##对于内存，此目录为父级目录，当开启一个docker 时，会自动生成一个目录，词目录和父级目录一致
[root@server2 memory]# ls
cgroup.clone_children memory.kmem.tcp.limit_in_bytes memory.oom_control
cgroup.event_control memory.kmem.tcp.max_usage_in_bytes memory.pressure_level
cgroup.procs memory.kmem.tcp.usage_in_bytes memory.soft_limit_in_bytes
cgroup.sane_behavior memory.kmem.usage_in_bytes memory.stat
docker memory.limit_in_bytes memory.swappiness
memory.failcnt memory.max_usage_in_bytes memory.usage_in_bytes
memory.force_empty memory.memsw.failcnt memory.use_hierarchy
memory.kmem.failcnt memory.memsw.limit_in_bytes notify_on_release
memory.kmem.limit_in_bytes memory.memsw.max_usage_in_bytes release_agent
memory.kmem.max_usage_in_bytes memory.memsw.usage_in_bytes system.slice
memory.kmem.slabinfo memory.move_charge_at_immigrate tasks
memory.kmem.tcp.failcnt memory.numa_stat
指定内存大小来运行容器：
[root@server2 memory]# cd docker/
[root@server2 docker]# ls
[root@server2 docker]# docker run --help | grep memory
##查看帮助
[root@server2 docker]# docker run -it --rm -m 256M busybox
##指定内存大小来运行容器
/ # free -m
total used free shared buff/cache available
Mem: 1998 215 1228 0 555 1624
Swap: 2047 0 2047
/ # [root@server2 docker]# docker ps
CONTAINER ID IMAGE COMMAND CREATED STATUS PORTS NAMES
3a04aee87a71 busybox "sh" 20 seconds ago Up 19 seconds agitated_sutherland
[root@server2 docker]# docker inspect 3a04aee87a71 |grep Pid
"Pid": 7122,
"PidMode": "",
"PidsLimit": null,
[root@server2 docker]# cd /proc/7122/
[root@server2 docker]# pwd
/sys/fs/cgroup/memory/docker
[root@server2 docker]# ls
3a04aee87a71ae172767c7c22de6bfc51453e3476ae44895507c2037 ##此时会生成一个名称很长的目录，以区别于开启非常多容器的其他名称
[root@server2 docker]# cd 3a04aee87a71ae172767c7c22de6bfc51453e3476ae44895507c2037df1934df
[root@server2 3a04aee87a71ae172767c7c22de6bfc51453e3476ae44895507c2037df1934df]# ls
##查看当前容器的资源控制信息
cgroup.clone_children memory.kmem.tcp.max_usage_in_bytes memory.oom_control
cgroup.event_control memory.kmem.tcp.usage_in_bytes memory.pressure_level
cgroup.procs memory.kmem.usage_in_bytes memory.soft_limit_in_bytes
memory.failcnt memory.limit_in_bytes memory.stat
memory.force_empty memory.max_usage_in_bytes memory.swappiness
memory.kmem.failcnt memory.memsw.failcnt memory.usage_in_bytes
memory.kmem.limit_in_bytes memory.memsw.limit_in_bytes memory.use_hierarchy
memory.kmem.max_usage_in_bytes memory.memsw.max_usage_in_bytes notify_on_release
memory.kmem.slabinfo memory.memsw.usage_in_bytes tasks
memory.kmem.tcp.failcnt memory.move_charge_at_immigrate
memory.kmem.tcp.limit_in_bytes memory.numa_stat
[root@server2 3a04aee87a71ae172767c7c22de6bfc51453e3476ae44895507c2037df1934df]# cat memory.limit_in_bytes
268435456 ##刚好为 256M
计算一下：
[root@foundation15 Downloads]# bc
bc 1.07.1
Copyright 1991-1994, 1997, 1998, 2000, 2004, 2006, 2008, 2012-2017 Free Software Foundation, Inc.
This is free software with ABSOLUTELY NO WARRANTY.
For details type `warranty'.
268435456/1024/1024
256
将运行起来的容器进程好存在容器的信息中；
[root@server2 3a04aee87a71ae172767c7c22de6bfc51453e3476ae44895507c2037df1934df]# cat tasks
7122
[root@server2 3a04aee87a71ae172767c7c22de6bfc51453e3476ae44895507c2037df1934df]# docker inspect 3a04aee87a71 |grep Pid
"Pid": 7122,
"PidMode": "",
"PidsLimit": null,
除了运行容器时指定的内存之外，还有其他的一些默认设置；如果没有配置信息，会将父级目录的复制到新运行的容器中去；
[root@server2 docker]# pwd
/sys/fs/cgroup/memory/docker
[root@server2 docker]# cat memory.limit_in_bytes
9223372036854771712
[root@server2 docker]# docker ps
CONTAINER ID IMAGE COMMAND CREATED STATUS PORTS NAMES
3a04aee87a71 busybox "sh" 7 minutes ago Up 7 minutes agitated_sutherland
[root@server2 docker]# docker rm -f 3a04aee87a71
3a04aee87a71
[root@server2 docker]# yum install libcgroup-tools.x86_64 -y
##下载一个 cg 管理工具
新建一个目录会自动复制父级目录的东西；
[root@server2 docker]# cd /sys/fs/cgroup/memory/
[root@server2 memory]# mkdir x1
[root@server2 memory]# cd x1/
##此目录中的文件不能用 vim 来编辑
[root@server2 x1]# cat tasks
[root@server2 x1]# echo 268435456 > memory.limit_in_bytes
[root@server2 x1]# cat memory.limit_in_bytes
268435456
[以上是关于企业运维容器之 docker 安全的主要内容，如果未能解决你的问题，请参考以下文章