docker——网络配置

Posted 2021-01-28 yangmingxianshen

　　

一、网络启动与配置参数

Docker启动时会在主机上自动创建一个docker0虚拟网桥，实际上是一个Linux网桥，
可以理解为一个软件交换机，它会在挂载其上的接口之间进行数据转发。
同时，Docker随机分配一个本地未占用的私有网段（在RFC1918中定义）中的一个地址给docker0接口。

当创建一个Docker容器时，同时会创建一对veth pair接口，
当数据包发送到一个接口时，另外一个接口也可以收到相同的数据包。
这对接口一端在容器内，即eth0，另一端在本地并被挂载到docker0网桥，
名称以veth开头，通过这种方式，主机可以跟容器通讯，容器之间也可以相互通信。
如此一来，Docker就创建了在主机和所有容器之间的一个虚拟共享网络。

下面是Docker网络相关的参数命令，其中有些命令选项只有在Docker服务启动的时候才能配置，而且不能马上生效。
　　-b BRIDGE or --bridge=BRIDGE  指定容器挂载的网桥
　　--bip=CIDR  定制docker0的掩码
　　-H SOCKET ... or --host=SOCKET...  docker服务端接收命令的通道
　　--icc=true|false  是否支持容器之间进行通信
　　--ip-forward=true|false  启用net.ipv4.ip_forward
　　--iptables=true|false  禁止Docker添加iptables规则
　　--mtu=BYTRS  容器网络中的MTU

下面两个命令既可以在启动服务时指定，也可以Docker容器启动时（docker run）指定。
在docker服务启动的时候指定则会成为默认值，后续执行docker run时可以覆盖设置的默认值。
　　--dns=IP_ADDRESS  使用指定的DNS服务器
　　--dns=search=DOMAIN  指定DNS搜索域

最后这些选项只能在docker run执行时使用，因为他是针对容器的特性内容：
　　-h HOSTNAME or --hostname=HOSTNAME  配置容器主机名
　　--link=CONTAINER_NAME:ALIAS  添加到另一个容器的连接
　　--net=bridge|none|container:NAME_or_ID|host|user_defined_network  配置容器的桥接模式
　　-p SPEC or --publish=SPEC  映射容器端口到宿主主机
　　-P or --publish-all=true|false  映射容器所有端口到宿主主机

其中 --net选项支持五种模式，如下所示：
　　--net=bridge 默认选项，为容器创建一个独立的网络命名空间，分配网卡、ip地址等网络配置。
　　　　并通过veth接口对将容器挂载到一个虚拟网桥（默认为docker0）上。
　　--net=none 为容器创建一个独立的网络命名空间，但不进行网络配置，即容器内没有创建网卡、IP等
　　--net=container:NAME_or_ID 意味着新创建的容器共享指定的已存在容器的网络命名空间，
　　　　两个容器内的网络配置共享，但其它资源（进程空间、文件系统等）还是隔离的。
　　--net=host 意味着不为容器创建独立的网络命名空间，容器内看到的网络配置均与主机保持一致。
　　--net=user_defined_network 用户自行用network相关命令创建一个网络，
　　　　同一个网络内的容器彼此可见，可以采用更多类型的网络插件。

 

 

二、配置容器DNC和主机名

Docker支持自定义容器的主机名和DNS配置。

1.相关配置文件

实际上，容器中主机名和DNS配置信息都是通过三个系统配置文件来维护的：/etc/resolv.conf、/etc/hostname、/etc/hosts。

启动一个容器，在容器中使用mount命令可以看到这三个文件的挂载信息。

其中，/etc/resolv.conf文件在创建容器的时候，默认会与宿主机/etc/resolv.conf文件内容保持一致。

这样也可以说明容器和宿主的文件系统是共享的。

/etc/hosts文件默认中只记录容器自身的一些地址和名称。

 

 

2.容器内修改配置文件

Docker1.2.0开始支持在运行中的容器里直接编辑/etc/hosts、/etc/hostname和/etc/resolv.conf文件。
但是这些修改只是临时的，只是在运行的容器中保留，容器终止或重启后并不会被保存下来。也不会被docker commit提交。

 

3.通过参数指定

如果用户想要自定义容器的配置，可以在创建或启动容器的时候利用下面的参数指定。

　　指定主机名

　　　　-h HOSTNAME或--hostname=HOSTNAME。设定容器的主机名，它会被写到容器内的/etc/hosts和/etc/hostname文件中。
　　　　但是这个主机名只有在容器内才能看到，在容器外看不到，既不会在docker ps中显示，也不会在其它容器的/etc/hosts中看到。

　　记录其它容器主机名

　　　　--link=CONTAINER_NAME:ALLAS。在创建容器的时候，添加一个所连接容器的主机名到容器内/etc/hosts文件中。
　　　　这样新创建容器可以直接使用主机名来与所连接容器通信。

　　指定DNS服务器

　　　　--dns=IP_ADDRESS。添加DNS服务器到容器的/etc/resolv.con中，
　　　　容器会用指定的服务器来解析所有不在/etc/hosts中的主机名。

　　指定DNS搜索域

　　　　--dns-search=DOMAIN。设定容器的搜索域，当设定搜索域为.example.com时，在搜索一个名为host的主机时，
　　　　DNS不仅搜索host，还会搜索host.example.com。

 

 

三、容器访问控制

容器的访问控制主要通过Linux上的iptables防火墙软件来进行管理和实现。
iptables是系统流行的防火墙软件，在大部分发行版本中都会自带。

1.容器访问外部网络

容器默认指定了网关为docker0网桥上的docker0内部接口。
docker0内部接口也是宿主机的一个本地接口，因此默认情况下是可以访问到宿主机本地的。

容器想要通过宿主机访问到外部网络，需要宿主机进行转发。
在Linux系统中，检查转发是否打开（默认是打开的）：

如果为0，说明没有开启转发，则需要手动打开：

 

更简单的，在启动Docker服务的时候设定--ip-forward=true，docker服务会自动打开宿主机系统的转发服务。

2.容器之间的访问

容器之间相互访问，需要两方面的支持：
　　网络拓朴是否已经连通。默认情况下，所有容器都会连接到docker0网桥上，这意味着默认情况下拓扑是互通的；
　　本地系统的防火墙软件iptables是否允许访问通过。这取决于防火墙的默认规则是允许还是禁止。
下面分两种情况介绍容器之间的访问。

（1）访问所有端口

当启动Docker服务的时候，默认会添加一条“允许”转发策略到iptables的FORWARD链上。
通过配置--icc=true|false(默认为true)参数可以控制默认的策略。
为了安全考虑，可以在Docker配置文件中配置DOCKER_OPTS=--icc=false来默认禁止容器之间的相互访问。
同时，如果启动Docker服务时手动指定--iptables=false参数则不会修改宿主机系统上的iptables规则。

（2）访问指定端口

在通过-icc=false禁止容器间相互访问后，仍可以通过--link=CONTAINER_NAME:ALIAS选项来允许访问指定容器的开放端口。
--link=CONTAINER_NAME：ALIAS中的CONTAINER_NAME必须是docker自动分配的主机名或使用--name指定的主机名，不能使用-h参数配置的主机名。

 

 

四、映射容器端口到宿主机的实现

默认情况下，容器可以主动访问到外部网络的连接，但是外部网络无法访问到容器。

1.容器访问外部实现

假设容器内部的网络地址为172.12.0.2,本地网络地址为10.0.2.2。
容器要能访问外部网络，源地址不能为172.12.0.2，需要进行源地址映射（Source NAT，SNAT），
修改为本地系统的IP地址10.0.2.2。
映射是通过iptables的源地址伪装操作实现的。

查看主机nat表上POSTROUTING链的规则。该链负责网包离开主机之前，还写其源地址。

其中，上述规则将所有源地址为172.12.0.0/16网段，而不是从docker0接口发出的流量，动态伪装为系统网卡发出。
MASQUERADE行动跟传统SNAT行动相比，好处是它能从网卡动态获取地址。

2.外部访问容器实现

容器允许外部访问，可以在docker run时候通过-p或-P参数来启用。
不管用那种方法，其实也是在本地的iptable的nat表中添加相应的规则，
将访问外部IP地址的网包进行目标地址DANT，将目标地址修改为容器的IP地址。
以一个开放的8080端口为例，使用-P会自动映射本地的一个随即端口到容器的8080端口。

 

可以看到，nat中涉及两条链，PREROUTING链负责包到达网络接口时，改写其目标地址。
其中规则将所有流量都仍到DOCKER链。而DOCKER链中所有不是从docker0进来的网包（意味着不是本地主机产生），
将目标端口为49153的，修改目标地址为172.17.0.11，目标端口修改为80。

需要注意的是，这里的而规则映射了0.0.0.0，意味着将接收主机来自所有网络接口上的流量。
可以通过-p IP:host_port:container_port或-p IP::port来指定绑定的外部网络接口，以制定更严格的访问规则。
如果希望映射永久绑定到某个固定的IP地址，可以在docker配置文件/etc/default/docker中指定DOCKER_OPTS="--ip=IP_ADDRESS",之后重启Docker服务即可生效。

 

五、配置docker0网桥

 Docker服务默认会创建一个名称为docker0的Linux网桥，它在内核层连通了其它的物理或虚拟网卡。
这就将所有容器和本地主机都放到了同一个物理网络。用户使用Docker创建多个自定义网络时可能会出现多个容器网桥。

Docker默认制定了docker0接口的IP地址和子网掩码，让主机和容器之间可以通过网桥相互通信。
它还给出了MTU（接口允许接收的最大传输单元），通常是1500字节，或宿主网络路由上支持的默认值。
这些值都可以在服务启动的时候进行配置：
　　--bip=CIDR:IP地址加掩码格式，例如192.168.1.5/24
　　--mtu=BYTES:覆盖默认的Docker mtu配置。

也可以在配置文件中配置DOCKER_OPTS,然后重启服务。
由于目前Docker网桥是Linux网桥，用户可以使用brctl show来查看网桥和端口连接信息。

每次创建一个新的容器时，Docker从可用的地址段中选择一个空闲的IP地址来分配给容器的eth0端口。
并且使用本地主机上docker0接口的IP作为容器的默认网关：

 

 

六、自定义网桥

除了默认使用docker0网桥，用户也可以指定网桥来连接各个容器。
在启动docker服务的时候，使用-b BRIDGE或--bridge=BRIDGE来指定使用的网桥。
停止服务：
　　service docker stop
关闭docker网桥：
　　ip link set dev docker0 down
删除旧的网桥：
　　brctl delbr docker0
新建网桥：
　　brctl addbr bridge0
给新的网桥配置参数：
　　ip addr add 192.168.5.1/24 dev bridge0
　　ip link set dev bridge0 up
　　ip addr show bridge0

这是传统的方法，现在直接使用docker create network。

 

七、使用OpenvSwitch网桥

Docker默认使用的是Linux自带的网桥实现，实际上，OpenvSwitch项目作为一个成熟的虚拟交换机，具备更丰富的功能。

1.安装OpenvSwitch

安装依赖包：
　　yum -y install openssl-devel wget kernel-devel
安装开发工具：
　　yum groupinstall "Development Tools"
下载源码：
　　wget http://openvswitch.org/releases/openvswitch-2.3.1.tar.gz
解压：
　　tar xfz openvswitch-2.3.1.tar.gz
创建编译目录：
　　mkdir -p ~/rpmbuild/SOURCES
从spec文件中删除openvswitch-kmod的依赖包，并创建一个新的spec文件：
　　sed ‘s/openvswitch-kmod, //g‘ openvswitch-2.3.1/rhel/openvswitch.spec > openvswitch-2.3.1/rhel/openvswitch_no_kmod.spec
开始编译：
　　cp openvswitch-2.3.1.tar.gz rpmbuild/SOURCES
　　rpmbuild -bb --without=check ~/openvswitch-2.3.1/rhel/openvswitch_no_kmod.spec
安装编译生成的rpm文件：
　　yum localinstall /home/ovswitch/rpmbuild/RPMS/x86_64/openvswitch-2.3.1-1.x86_64.rpm

启动服务：systemctl start openvswitch.service
查看服务状态：systemctl -l status openvswitch.service

  2.配置容器连接到OpenvSwitch

目前OpenvSwitch网桥还不能直接支持挂载容器，需要手动在OpenSwitch网桥上创建虚拟网口被挂载到容器中。
步骤如下：

（1）创建无网络容器 　　

　　docker run --net=noen --privileged=true -it base /bin/bash
查看网络信息：

   只有一个本地网卡lo

（2）手动为容器添加网络

下载辅助脚本ovs-docker：
　　wget https://github.com/openvswitch/ovs/raw/master/utilities/ovs-docker
　　chmod a+x ovs-docker
添加网桥br1，并挂载：
　　ovs-vsctl add-br br1
　　ovs-vsctl show(查看)  

    ./ovs-docker add-port br1 eth0 c26f1bbdb3f5 --ipaddress=172.17.0.2/24
可以看到容器内多了一个网卡：

在容器外，为br1配置接口地址。
　　ifconfig br1 172.17.0.10/24

 

八、创建一个点到点的连接

默认情况下，Docker会将所有容器连接由docker0提供的虚拟子网中，
有时候需要两个容器之间可以直接通讯，而不同通过主机网桥进行桥接。

创建一对peer接口，分别放到两个容器中，配置成点到点链路类型即可。

启动两个容器：
　　docker run -it --rm --net=none centos /bin/bash

找到进程号，然后创建网络命名空间的跟踪文件：

docker inspect -f "{{.State.Pid}}" d3e573778246
docker inspect -f "{{.State.Pid}}" 3882bde4d974
mkdir -p /var/run/netns
ln -s /proc/25974/ns/net /var/run/netns/25974
ln -s /proc/26023/ns/net /var/run/netns/26023
ip link add AA type veth peer name BB

添加IP地址和路由信息：

ip link set AA netns 25974
ip netns exec 25974 ip addr add 10.1.1.1/32 dev AA
ip netns exec 25974 ip link set AA up
ip netns exec 25974 ip route add 10.1.1.2/32 dev AA

ip link set BB netns 26023
ip netns exec 26023 ip addr add 10.1.1.2/32 dev BB
ip netns exec 26023 ip link set BB up
ip netns exec 26023 ip route add 10.1.1.1/32 dev BB

ping：

此外也可以不指定--net=none来创建点链路。