docker网络技术剖析

Posted 2020-08-24

Docker 中的网络功能介绍

docker容器访问外网，

外网访问docker容器，

docker容器间互访，

编译包制作成rpm包，

docker容器分割VLAN通信，

实验环境：未开启selinux

防伪码： 青春以梦为马

默认情况下，容器可以建立到外部网络的连接，但是外部网络无法连接到容器。

Docker 允许通过外部访问容器或容器互联的方式来提供网络服务

外部访问容器:

容器中可以运行一些网络应用，要让外部也可以访问这些应用，可以通过  -P  或  -p  参数来指定端口映射。

练习环境：运行一个容器，提供web服务和ssh服务

宿主机启用路由转发（net.ipv4.ip_forward=1）

通过docker  commit或dockerfile生成一个web应用的镜像，这里我通过dockerdockerfile构建镜像模板

1）创建一个sshd_dockerfile工作目录

编辑run.sh文件

在主机上生成ssh秘钥对，并创建authorized_keys文件

在sshd_dockerfile目录下，使用docker  build命令来创建镜像，注意：在最后还有一个”.”，表示使用当前目录中的dockerfile

执行docker images查看新生成的镜像

当使用–P(大写)标记时，Docker 会随机映射一个随机的端口到内部容器开放的网络端口。

注：-P使用时需要指定--expose选项或dockerfile中用expose指令容器要暴露的端口，指定需要对外提供服务的端口

使用  docker ps  可以看到，本地主机的32770被映射到了容器的22端口，本地主机的32769被映射到了容器的80端口，本地主机的32768被映射到了容器的443 端口。

此时访问本机的 32770端口即可访问容器内 ssh 应用。

注：192.168.110.128是宿主机的地址

查看容器运行的httpd进程

此时访问本机的 32769端口即可访问容器内 web 应用

-p（小写）则可以指定要映射的端口，并且，在一个指定端口上只可以绑定一个容器。支持的格式有ip:hostPort:containerPort | ip::containerPort |hostPort:containerPort

注意：

容器有自己的内部网络和 ip 地址（使用  docker inspect  可以获取所有的变量。）

-p 标记可以多次使用来绑定多个端口

 

映射所有接口地址：

使用 hostPort:containerPort 格式，将本地的10111端口映射到容器的 22 端口，本地的801端口映射到容器的80端口可以执行

测试访问：

测试web

映射到指定地址的指定端口

可以使用 ip:hostPort:containerPort 格式，指定映射使用一个特定地址，比如宿主机网卡配置的一个地址192.168.110.128

映射到指定地址的任意端口

使用 ip::containerPort 绑定192.168.1.102的任意端口到容器的80端口，本地主机会自动分配一个口。--name为启动的容器指定一个容器名。

注：还可以使用 udp 标记来指定 udp 端口

# docker run -d -p127.0.0.1:5000:5000/udp –name db4 commit:v1

查看映射端口配置

使用 docker port 来查看当前映射的端口配置，也可以查看到绑定的地址

Docker NAT iptables实现

默认情况下，容器可以主动访问到外部网络的连接，但是外部网络无法访问到容器

 

容器访问外部实现

容器所有到外部网络的连接，源地址都会被 NAT 成本地系统的 IP 地址（即docker0地址）。这是使用 iptables 的源地址伪装操作实现的

查看主机的 NAT 规则

iptables -t nat -vnL

其中，上述规则将所有源地址在 172.17.0.0/16 网段，目标地址为其他网段（外部网络）的流量动态伪装为从系统网卡发出。MASQUERADE 跟传统 SNAT 的好处是它能动态从网卡获取地址。

 

外部访问容器实现

容器允许外部访问，可以在 docker run 时候通过 -p 或 -P 参数来启用，不管用那种办法，其实也是在本地的 iptable 的 nat 表中添加相应的规则

使用 -P 时：

iptables -t -nat -vnL

使用 -p 80:80时

iptables -t -nat -vnL

docker0  网桥

Docker服务默认会创建一个 docker0 网桥（其上有一个docker0 内部接口），它在内核层连通了其他的物理或虚拟网卡，这就将所有容器和本地主机都放到同一个物理网络。

Docker 默认指定了 docker0 接口的 IP 地址和子网掩码，让主机和容器之间可以通过网桥相互通信

由于目前 Docker 网桥是 Linux 网桥，用户可以使用 brctl show 来查看网桥和端口连接信息。

注：brctl 命令在centos中可以使用yum  install bridge-utils 来安装

每次创建一个新容器的时候，Docker 从可用的地址段中选择一个空闲的 IP 地址分配给容器的eth0端口。使用本地主机上 docker0 接口的 IP 作为所有容器的默认网关。

Docker网络配置

Docker 四种网络模式

docker run 创建 Docker 容器时，可以用 --net 选项指定容器的网络模式，Docker 有以下 4 种网络模式：

• host 模式，使用 --net=host 指定。

• container 模式，使用 --net=container:NAMEorID 指定。

• none 模式，使用 --net=none 指定。

• bridge 模式，使用 --net=bridge 指定，默认设置。

 

host 模式

如果启动容器的时候使用 host 模式，那么这个容器将不会获得一个独立的 Network Namespace，而是和宿主机共用一个 Network Namespace。容器将不会虚拟出自己的网卡，配置自己的 IP 等，而是使用宿主机的 IP 和端口。

例如，我们在192.168.110.128/24 的机器上用 host 模式启动一个含有 web 应用的 Docker 容器，监听 tcp 80 端口。当我们在容器中执行任何类似 ifconfig 命令查看网络环境时，看到的都是宿主机上的信息。而外界访问容器中的应用，则直接使用192.168.1.102:80 即可，不用任何 NAT 转换，就如直接跑在宿主机中一样。但是，容器的其他方面，如文件系统、进程列表等还是和宿主机隔离的。

启动容器前，执行pgrep http查看宿主机httpd进程

上面显示结果说明宿主机没有httpd进程运行

用 host 模式启动一个含有 web 应用的 Docker 容器

用浏览器访问宿主机地址的80端口

注意防火墙：

container 模式

这个模式指定新创建的容器和已经存在的一个容器共享一个 Network Namespace，而不是和宿主机共享。新创建的容器不会创建自己的网卡，配置自己的 IP，而是和一个指定的容器共享 IP、端口范围等。同样，两个容器除了网络方面，其他的如文件系统、进程列表等还是隔离的。两个容器的进程可以通过 lo 网卡设备通信。

运行一个容器：查看容器的IP

将容器切换到后台运行:ctrl+p ctrl+q

在运行一个容器使用container模式：查看新容器的地址

none模式

这个模式和前两个不同。在这种模式下，Docker 容器拥有自己的Network Namespace，但是，并不为 Docker容器进行任何网络配置。也就是说，这个 Docker 容器没有网卡、IP、路由等信息。需要我们自己为 Docker 容器添加网卡、配置 IP 等。

bridge模式

当 docker 启动时，会在主机上创建一个 docker0 的虚拟网卡。他随机挑选 RFC1918 私有网络中的一段地址给 docker0 。比如 172.17.0.1/16,16 位掩码的网段可以拥有 65534 个地址可以使用，这对主机和容器来说应该足够了。

docker0  不是普通的网卡，他是桥接到其他网卡的虚拟网卡，容器使用它来和主机相互通信。当创建一个 docker 容器的时候，它就创建了一个对接口，当数据包发送到一个接口时，另外一个接口也可以收到相同的数据包，它们是绑在一起的一对孪生接口。这对接口在容器中那一端的的名字是 eth0 ，宿主主机端的会指定一个唯一的名字，比如 vethAQI2QT 这样的名字。

所有的 veth* 的接口都会桥接到 docker0 ，这样 docker 就创建了在主机和所有容器之间一个虚拟共享网

bridge 模式是 Docker 默认的网络设置，此模式会为每一个容器分配 Network Namespace、设置 IP 等，并将一个主机上的 Docker 容器连接到一个虚拟网桥上。当 Docker server 启动时，会在主机上创建一个名为 docker0 的虚拟网桥，此主机上启动的 Docker 容器会连接到这个虚拟网桥上。虚拟网桥的工作方式和物理交换机类似，这样主机上的所有容器就通过交换机连在了一个二层网络中。接下来就要为容器分配 IP 了，Docker 会从 RFC1918 所定义的私有IP 网段中，选择一个和宿主机不同的IP地址和子网分配给 docker0，连接到 docker0 的容器就从这个子网中选择一个未占用的 IP 使用。如一般 Docker 会使用 172.17.0.0/16 这个网段，并将 172.17.0.1/16 分配给 docker0 网桥（在主机上使用 ifconfig 命令是可以看到 docker0 的，可以认为它是网桥的管理接口，在宿主机上作为一块虚拟网卡使用）

Docker完成以上网络配置的过程大致是这样的：

1.在主机上创建一对虚拟网卡vethpair设备。veth设备总是成对出现的，它们组成了一个数据的通道，数据从一个设备进入，就会从另一个设备出来。因此，veth设备常用来连接两个网络设备。

2.Docker将veth pair设备的一端放在新创建的容器中，并命名为eth0。另一端放在主机中，以veth65f9这样类似的名字命名，并将这个网络设备加入到docker0网桥中，可以通过brctl show命令查看。

注：brctl 工具依赖 bridge-utils 软件包

3.从docker0子网中分配一个IP给容器使用，并设置docker0的IP地址为容器的默认网关。

容器内部访问外网以及容器和主机之间的端口映射都是通过Iptables实现的，可以查看Iptables表分析。

 

查看当前 docker0地址

在容器运行时，每个容器都会分配一个特定的虚拟机口并桥接到 docker0。每个容器都会配置同 docker0 ip 相同网段的专用 ip 地址，docker0 的 IP 地址被用于所有容器的默认网关。

运行一个容器并查看

通过brctl show命令查看

以上, docker0 扮演着veth402429c和veth7aad6a6这两个容器的虚拟接口 vethxx interface 桥接的角色。

 

执行docker  network  inspect bridge查看桥接网络的详细信息

自定义网桥

除了默认的  docker0  网桥，用户也可以指定网桥来连接各个容器。在启动 Docker 服务的时候，使用  -b BRIDGE  或--bridge=BRIDGE  来指定使用的网桥。

Docker 允许你管理 docker0 桥接或者通过-b选项自定义桥接网卡，需要安装bridge-utils软件包。

基本步骤如下：

1.确保 docker 的进程是停止的

2.创建自定义网桥

3.给网桥分配特定的 ip

4.以 -b 的方式指定网桥

 

具体操作步骤：

如果服务已经运行，那需要先停止服务，并删除旧的网桥

然后创建一个网桥  bridge0，给网桥分配特定的 ip

查看确认网桥创建并启动

修改/etc/sysconfig/docker文件

修改前：

修改后：添加前面所新建的网桥

启动 Docker 服务。

新建一个容器，可以看到它已经桥接到了  br0  上。

docker 服务启动成功并绑定容器到新的网桥，新建一个容器，你会看到它的 ip 是我们的设置的新 ip段， docker 会自动检测到它。用 brctl show 可以看到容器启动或则停止后网桥的配置变化，在容器中使用 ip a 和 ip r 来查看 ip 地址配置和路由信息。

重启主机之后，再启动docker服务发现起不来，因为以上都是命令配置，临时性的，只要重启主机就会失效，若要启动服务也有办法，就是将vim /etc/sysconfig/docker文件中的“-b=br0”删了就行。然后就回到了之前的docker0，如下图：

现在docker服务是运行状态，而且虚拟网桥回归到了docker0。

 

DNS/HOSTNAME自定义

Docker 没有为每个容器专门定制镜像，那么怎么自定义配置容器的主机名和 DNS 配置呢？秘诀就是它利用虚拟文件来挂载到来容器的 3 个相关配置文件。

在容器中使用 mount 命令可以看到挂载信息：注（mount命令软件包util-linux）

# mount 

这种机制可以让宿主主机 DNS 信息发生更新后，所有 Docker 容器的 dns 配置通过 /etc/resolv.conf文件立刻得到更新。

如果用户想要手动指定容器的配置，可以利用下面的选项。

-h HOSTNAME or --hostname=HOSTNAME 设定容器的主机名，它会被写到容器内的/etc/hostname 和 /etc/hosts。但它在容器外部看不到，既不会在 docker ps 中显示，也不会在其他的容器的 /etc/hosts 看到。

--link=CONTAINER_NAME:ALIAS 选项会在创建容器的时候，添加一个其他容器的主机名到

/etc/hosts 文件中，让新容器的进程可以使用主机名ALIAS 就可以连接它。

--dns=IP_ADDRESS 添加 DNS 服务器到容器的/etc/resolv.conf 中，让容器用这个服务器来解析所有不在 /etc/hosts 中的主机名。

--dns-search=DOMAIN 设定容器的搜索域，当设定搜索域为 .example.com 时，在搜索一个名为 host的主机时， DNS 不仅搜索 host，还会搜索 host.example.com。注意：如果没有上述最后 2 个选项，Docker 会默认用主机上的 /etc/resolv.conf 来配置容器。

具体其他选项可以查看docker  run  --help帮助

 

docker中的容器互联--linking 系统

docker 有一个 linking  系统可以连接多个容器。它会创建一对父子关系，父容器可以看到所选择的子容器的信息。该系统会在源和接收容器之间创建一个隧道，接收容器可以看到源容器指定的信息

自定义容器的命名

linking系统依据容器的名称来执行，因此，首先需要自定义一个好记的容器命名。当我们创建容器的时候，系统会随机分配一个名字。当然我们也可以自己来命名容器，这样做有 2 个好处：

当我们自己指定名称的时候，比较好记，比如一个 web 应用我们可以给它起名叫 web

当我们要连接其他容器时候，可以作为一个有用的参考点，比如连接 web 容器到 db 容器

使用  --name  标记可以为容器自定义命名。使用  docker ps 来验证设定的命名，也可以使用  docker inspect  来查看容器的名字dockerinspect -f "{{ .Name }}" 容器id

注意：容器的名称是唯一的。如果已经命名了一个叫 web 的容器，当你要再次使用 web 这个名称的时候，需要先用 docker rm  来删除之前创建的同名容器。

在执行  docker run  的时候如果添加  --rm  标记，则容器在终止后会立刻删除。注意， --rm  和  -d  参数不能同时使用。

 

容器互联

使用--link参数可以让容器之间安全的进行交互。

下面先创建一个新的数据库容器。

docker run -dit --name dbserver镜像id

然后创建一个新的 web 容器，并将它连接到 db 容器

--link 标记的格式： --linkname:alias ， name 是我们要链接的容器的名称， alias 是这个链接的别名。

使用docker ps来查看容器的连接

我们可以看到我们命名的容器， dbserver 和 web ， dbserver 容器的 names 列有 dbserver 也有 web/dbserver 。这表示 web 容器链接到 db 容器，他们是一个父子关系。在这个 link 中， 2 个容器中有一对父子关系。 docker 在 2 个容器之间创建了一个安全的连接，而且不用映射dbserver容器的端口到宿主主机上。所以在启动 db 容器的时候也不用 -p 和 -P 标记。使用 link 之后我们就可以不用暴露数据库端口到网络上。

 

注意：你可以链接多个子容器到父容器，比如我们可以链接多个 web 到 db 容器上。

 

Docker 会添加子容器的 host 信息到父容器的  /etc/hosts 的文件。

下面是父容器 web 的 hosts 文件

这里有 2 个 hosts，第一个是 web 容器，web 容器用 id 作为他的主机名，第二个是 dbserver 容器的 ip 和主机名。可以在 web 容器中安装 ping 命令来测试跟dbserver容器的连通。

注意：官方的镜像默认没有安装 ping，需要自行安装，软件包名iputils

附：在bridge模式下，连在同一网桥上的容器可以相互通信（若出于安全考虑，也可以禁止它们之间通信，方法是在DOCKER_OPTS变量中设置--icc=false，这样只有使用--link才能使两个容器通信）。

 

多台物理主机之间的容器互联（暴露容器到真实网络中）

docker 默认的桥接网卡是 docker0 。它只会在本机桥接所有的容器网卡，举例来说容器的虚拟网卡在主机上看一般叫做 vethxxx，而 docker 只是把所有这些网卡桥接在一起，如下：

这样就可以把这个网络看成是一个私有的网络，通过 nat  连接外网，如果要让外网连接到容器中，就需要做端口映射，即 -p 参数。

如果在企业内部应用，或则做多个物理主机的集群，可能需要将多个物理主机的容器组到一个物理网络中来，那么就需要将这个网桥桥接到我们指定的网卡上。

 

主机 A 和主机 B 的网卡一都连着物理交换机的同一个 vlan 101, 这样网桥一和网桥三就相当于在同一个物理网络中了，而容器一、容器三、容器四也在同一物理网络中了，他们之间可以相互通信，而且可以跟同一 vlan 中的其他物理机器互联。

这样就直接把容器暴露到物理网络上了，多台物理主机的容器也可以相互联网了。需要注意的是，这样就需要自己来保证容器的网络安全了。

不同容器之间的通信可以借助于pipework 这个工具

pipework是由Docker的工程师JérômePetazzoni开发的一个Docker网络配置工具，由200多行shell实现，方便易用。

下载地址：wgethttps://github.com/jpetazzo/pipework.git

安装相应依赖软件

yum install bridge-utils -y

配置桥接网络

Vi ifcfg-br0

重启network服务

把 docker 的桥接指定为 br0，这样跨主机不同容器之间通过 pipework 新建 docker 容器的网卡桥接到 br0，这样跨主机容器之间就可以通信了。

CentOS 7/RHEL 7系统

systemctl stop docker

修改/etc/sysconfig/docker

Systemctl restart docker

pipework

把 docker 默认桥接指定到了 br0，则最好在创建容器的时候加上--net=none，防止自动分配的 IP 在局域网中有冲突。

使用镜像运行一个容器

注：默认不指定网卡设备名，则默认添加为 eth1

注：另外 pipework 不能添加静态路由，如果有需求则可以在 run 的时候加上 --privileged=true 权限在容器中手动添加，但这种安全性有缺陷，可以通过 ip netns 操作

访问容器提供的web服务：

使用ip netns添加静态路由，避免创建容器使用--privileged=true选项造成一些不必要的安全问题：

在其它宿主机进行相应的配置，新建容器并使用 pipework 添加虚拟网卡桥接到 br0，测试通信情况即可。

注：可以删除 docker0，直接把 docker 的桥接指定为 br0。也可以保留使用默认的配置，这样单主机容器之间的通信可以通过 docker0，而跨主机不同容器之间通过 pipework 新建 docker 容器的网卡桥接到 br0，这样跨主机容器之间就可以通信了。

 

扩展：

pipework可以在下面用三个场景来使用和工作原理。
1 将Docker容器配置到本地网络环境中
为了使本地网络中的机器和Docker容器更方便的通信，我们经常会有将Docker容器配置到和主机同一网段的需求。这个需求其实很容易实现，我们只要将Docker容器和主机的网卡桥接起来，再给Docker容器配上IP就可以了。
下面我们来操作一下，我主机A地址为192.168.1.102/24,网关为192.168.1.1,需要给Docker容器的地址配置为192.168.1.150/24。在主机A上做如下操作：
安装pipework
下载地址：wget https://github.com/jpetazzo/pipework.git

unzip pipework-master.zip

cp -p /root/pipework-master/pipework /usr/local/bin/
启动Docker容器。
docker run -itd --name test1 镜像 /bin/bash
配置容器网络，并连到网桥br0上。网关在IP地址后面加@指定。
pipework br0 test1 192.168.1.150/[email protected]
将主机enp0s3桥接到br0上，并把enp0s3的IP配置在br0上。

ip addr add 192.168.1.102/24 dev br0

ip addr del 192.168.1.102/24 dev enp0s3

brctl addif br0 enp0s3

ip route del default

ip route add default via 192.168.1.1 devbr0 

注：如果是远程操作，中间网络会断掉，所以放在一条命令中执行。
ip addr add 192.168.1.102/24 dev br0; \ ip addr del 192.168.1.102/24 dev enp0s3;\ brctl addif br0 enp0s3; \ iproute del default; \ ip route add default via 192.168.1.1 dev br0 
完成上述步骤后，我们发现Docker容器已经可以使用新的IP和主机网络里的机器相互通信了。

进入容器内部查看容器的地址：

pipework工作原理分析
那么容器到底发生了哪些变化呢？我们docker attach到test1上，发现容器中多了一块eth1的网卡，并且配置了192.168.1.150/24的IP，而且默认路由也改为了192.168.1.1。这些都是pipework帮我们配置的。

·首先pipework检查是否存在br0网桥，若不存在，就自己创建。
   

·创建veth pair设备，用于为容器提供网卡并连接到br0网桥。
   

·使用docker inspect找到容器在主机中的PID，然后通过PID将容器的网络命名空间链接到/var/run/netns/目录下。这么做的目的是，方便在主机上使用ip netns命令配置容器的网络。因为，在Docker容器中，我们没有权限配置网络环境。
   

·将之前创建的veth pair设备分别加入容器和网桥中。在容器中的名称默认为eth1，可以通过pipework的-i参数修改该名称。
   

·然后就是配置新网卡的IP。若在IP地址的后面加上网关地址，那么pipework会重新配置默认路由。这样容器通往外网的流量会经由新配置的eth1出去，而不是通过eth0和docker0。(若想完全抛弃自带的网络设置，在启动容器的时候可以指定--net=none)
以上就是pipework配置Docker网络的过程，这和Docker的bridge模式有着相似的步骤。事实上，Docker在实现上也采用了相同的底层机制。
通过源代码，可以看出，pipework通过封装Linux上的ip、brctl等命令，简化了在复杂场景下对容器连接的操作命令，为我们配置复杂的网络拓扑提供了一个强有力的工具。当然，如果想了解底层的操作，我们也可以直接使用这些Linux命令来完成工作，甚至可以根据自己的需求，添加额外的功能。

                                       
2 单主机Docker容器VLAN划分
pipework不仅可以使用Linux bridge连接Docker容器，还可以与OpenVswitch结合，实现Docker容器的VLAN划分。下面，就来简单演示一下，在单机环境下，如何实现Docker容器间的二层隔离。
为了演示隔离效果，我们将4个容器放在了同一个IP网段中。但实际他们是二层隔离的两个网络，有不同的广播域。

安装openvswitch

安装基础环境

yum install –y gcc make python-developenssl-devel kernel-devel graphviz \

  kernel-debug-devel autoconf automake rpm-build redhat-rpm-config \

  libtool

解压与打包

tar zxvf openvswitch-2.3.1.tar.gz

mkdir -p ~/rpmbuild/SOURCES

cp openvswitch-2.3.1.tar.gz  ~/rpmbuild/SOURCES/

sed ‘s/openvswitch-kmod, //g‘openvswitch-2.3.1/rhel/openvswitch.spec >openvswitch-2.3.1/rhel/openvswitch_no_kmod.spec

rpmbuild -bb --without checkopenvswitch-2.3.1/rhel/openvswitch_no_kmod.spec

之后会在~/rpmbuild/RPMS/x86_64/里有2个文件

安装第一个就行

启动

Systemctl start openvswitch

查看状态

或

可以看到是正常运行状态

安装pipework   过程略，参考前面的操作

创建交换机，把物理网卡加入ovs1

在主机A上创建4个Docker容器，test1、test2、test3、test4

将test1，test2划分到一个vlan中，vlan在mac地址后加@指定，此处mac地址省略

完成上述操作后，使用docker attach连到容器中，然后用ping命令测试连通性，发现test1和test2可以相互通信，但与test3和test4隔离。这样，一个简单的VLAN隔离容器网络就已经完成。
由于OpenVswitch本身支持VLAN功能，所以这里pipework所做的工作和之前介绍的基本一样，只不过将Linux bridge替换成了OpenVswitch，在将veth pair的一端加入ovs0网桥时，指定了tag。底层操作如下：
ovs-vsctl add-port ovs0 veth* tag=100

证明vlan被分割，不同vlan的主机不能相互通信。

本文出自 “你好阳光” 博客，谢绝转载！