使用pipework将Docker容器桥接到本地网络环境中

Posted 2020-09-25 Noway11

在使用Docker的过程中，有时候我们会有将Docker容器配置到和主机同一网段的需求。要实现这个需求，我们只要将Docker容器和主机的网卡桥接起来，再给Docker容器配上IP就可以了。pipework工具来实现这一需求

1.安装pipework
2.宿主机配置桥接网络（可以省略）
3.给容器添加桥接地址

实验环境：
宿主机：10.207.0.99/24 网关：10.207.0.0.1
容器test：10.207.0.236/24

1.安装pipework
[[email protected] ~]git clone https://github.com/jpetazzo/pipework
[[email protected] ~] cp pipework/pipework /usr/local/bin/

2.宿主机配置桥接网络（可以省略）
宿主机物理网卡em1配置：
[[email protected] ~]# cat /etc/sysconfig/network-scripts/ifcfg-em1
TYPE=Ethernet
BOOTPROTO=none
DEVICE=em1
ONBOOT=yes
BRIDGE=br0

宿主机桥接网卡br0配置：
[[email protected] ~]# cat /etc/sysconfig/network-scripts/ifcfg-br0
TYPE=Bridge
BOOTPROTO=none
DEVICE=br0
ONBOOT=yes
IPADDR=10.207.0.99
NETMASK=255.255.255.0
GATEWAY=10.207.0.1

3.给容器添加桥接地址
3.1 首先创建一个容器
[[email protected] ~] docker run -itd --name test ubuntu /bin/bash

此时，查看容器的IP地址信息，其中只有一个eth0，IP地址是172.17.0.2 是Docker默认分配的地址，如下：
[email protected]:/# ip addr show
1: lo: <LOOPBACK,UP,LOWER_UP> mtu 65536 qdisc noqueue state UNKNOWN group default
     link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00
     inet 127.0.0.1/8 scope host lo
        valid_lft forever preferred_lft forever
     inet6 ::1/128 scope host
        valid_lft forever preferred_lft forever
10: eth0: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc noqueue state UP group default
     link/ether 02:42:ac:11:00:02 brd ff:ff:ff:ff:ff:ff
     inet 172.17.0.2/16 scope global eth0
        valid_lft forever preferred_lft forever
     inet6 fe80::42:acff:fe11:2/64 scope link
        valid_lft forever preferred_lft forever
       
3.2 在宿主机配置容器test的网络，并连接到网桥br0上，其中@后面是网关地址
[[email protected] ~] pipework br0 test 10.207.0.236/[email protected]

注意：这一步中，pipework首先会检查主机是否存在br0网桥，若不存在，就自己创建一个。这里以"br"开头，所以创建的是Linux bridge。如果以"ovs"开头，就会创建OpenVswitch网桥。

另外，如果主机环境中有DHCP服务，也可以通过DHCP的方式获取IP
[[email protected] ~] pipework br0 test dhcp

此时查看容器的IP地址信息，发现新增加了一个网卡eth1，分配的IP地址是10.207.0.236/24，如下：
[email protected]:/# ip addr show
1: lo: <LOOPBACK,UP,LOWER_UP> mtu 65536 qdisc noqueue state UNKNOWN group default
     link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00
     inet 127.0.0.1/8 scope host lo
        valid_lft forever preferred_lft forever
     inet6 ::1/128 scope host
        valid_lft forever preferred_lft forever
10: eth0: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc noqueue state UP group default
     link/ether 02:42:ac:11:00:02 brd ff:ff:ff:ff:ff:ff
     inet 172.17.0.2/16 scope global eth0
        valid_lft forever preferred_lft forever
     inet6 fe80::42:acff:fe11:2/64 scope link
        valid_lft forever preferred_lft forever
12: eth1: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc pfifo_fast state UP group default qlen 1000
     link/ether e2:e3:56:c0:9d:ca brd ff:ff:ff:ff:ff:ff
     inet 10.207.0.236/24 brd 10.207.0.255 scope global eth1
        valid_lft forever preferred_lft forever
     inet6 fe80::e0e3:56ff:fec0:9dca/64 scope link
        valid_lft forever preferred_lft forever
现在，可以通过ping 10.207.0.236来测试容器网络。或者从其它物理主机上ping这个容器地址。

扩展部分：
pipework工作原理分析

#创建br0网桥
#若ovs开头，则创建OVS网桥 ovs-vsctl add-br ovs*
brctl addbr $IFNAME
#创建veth pair,用于连接容器和br0
ip link add name $LOCAL_IFNAME mtu $MTU type veth peer name $GUEST_IFNAME mtu $MTU
#找到Docker容器test1在主机上的PID,创建容器网络命名空间的软连接
DOCKERPID=$(docker inspect --format=‘{{ .State.Pid }}‘ $GUESTNAME)
ln -s /proc/$NSPID/ns/net /var/run/netns/$NSPID
#将veth pair一端放入Docker容器中，并设置正确的名字eth1
ip link set $GUEST_IFNAME netns $NSPID
ip netns exec $NSPID ip link set $GUEST_IFNAME name $CONTAINER_IFNAME
#将veth pair另一端加入网桥
#若为OVS网桥则为 ovs-vsctl add-port $IFNAME $LOCAL_IFNAME ${VLAN:+"tag=$VLAN"}
brctl addif $IFNAME $LOCAL_IFNAME
#为新增加的容器配置IP和路由
ip netns exec $NSPID ip addr add $IPADDR dev $CONTAINER_IFNAME
ip netns exec $NSPID ip link set $CONTAINER_IFNAME up
ip netns exec $NSPID ip route delete default
ip netns exec $NSPID ip route add $GATEWAY/32 dev $CONTAINER_IFNAME

1.首先pipework检查是否存在br0网桥，若不存在，就自己创建。若以"ovs"开头，就会创建OpenVswitch网桥，以"br"开头，创建Linux bridge。
2.创建veth pair设备，用于为容器提供网卡并连接到br0网桥。
3.使用docker inspect找到容器在主机中的PID，然后通过PID将容器的网络命名空间链接到/var/run/netns/目录下。这么做的目的是，方便在主机上使用ip netns命令配置容器的网络。因为，在Docker容器中，我们没有权限配置网络环境。
4.将之前创建的veth pair设备分别加入容器和网桥中。在容器中的名称默认为eth1，可以通过pipework的-i参数修改该名称。
5.然后就是配置新网卡的IP。若在IP地址的后面加上网关地址，那么pipework会重新配置默认路由。这样容器通往外网的流量会经由新配置的eth1出去，而不是通过eth0和docker0。(若想完全抛弃自带的网络设置，在启动容器的时候可以指定--net=none)
以上就是pipework配置Docker网络的过程，这和Docker的bridge模式有着相似的步骤。事实上，Docker在实现上也采用了相同的底层机制。

通过源代码，可以看出，pipework通过封装Linux上的ip、brctl等命令，简化了在复杂场景下对容器连接的操作命令，为我们配置复杂的网络拓扑提供了一个强有力的工具。当然，如果想了解底层的操作，我们也可以直接使用这些Linux命令来完成工作，甚至可以根据自己的需求，添加额外的功能。