OpenvSwitch实现Docker容器跨宿主机互联

Posted 2020-06-13

1. OpenvSwitch简介

    Open vSwitch（下面简称为 OVS）是由 Nicira Networks 主导的，运行在虚拟化平台（例如 KVM，Xen）上的虚拟交换机。在虚拟化平台上，OVS可以为动态变化的端点提供 2 层交换功能，很好的控制虚拟网络中的访问策略、网络隔离、流量监控等等。主要实现代码为可移植的C代码。

    它的目的是让大规模网络自动化可以通过编程扩展，同时仍然支持标准的管理接口和协议（例如NetFlow,sFlow,SPAN,RSPAN,CLI,LACP,802.1ag）。此外，它被设计为支持跨越多个物理服务器的分布式环境，类似于vmware的vmnetwork分布式switch或cisconexus 1000v。Open vSwitch支持多种Linux虚拟化协议，包括Xen/Xen Server,KVM,和VirtualBox。

2. 通过VxLAN方式实现容器跨宿主机通信

    本次测试通过OpenvSwitch的VxLAN网络，实现两台物理主机容器能够跨宿主机互访。

    2.1 拓扑图

    2.2 配置ovs

        （1）这里通过两个脚本来配置host10和host11两台主机的OpenvSwitch部分。如下:

#host10
[[email protected] ~]# cat vsctl-add.sh
#!/bin/bash
ovs-vsctl add-br br0  #新建两个虚拟交换机
ovs-vsctl add-br br1

ifconfig eth0 0 up    #将物理主机ip赋值给br1
ifconfig br1 192.168.1.10/24 up
route add default gw 192.168.1.1

ovs-vsctl add-port br1 eth0  #将eth0加入br1
ovs-vsctl add-port br0 docker0  #将docker0加入br0

ifconfig br0 172.17.0.2/24 up  #配置br0和docker0的IP
ifconfig docker0 172.17.0.1/24 up

#host11
[[email protected] ~]# cat vsctl-add.sh
#!/bin/bash
ovs-vsctl add-br br0  
ovs-vsctl add-br br1

ifconfig eth0 0 up
ifconfig br1 192.168.1.11/24 up
route add default gw 192.168.1.1
ovs-vsctl add-port br1 eth0
ovs-vsctl add-port br0 docker0

ifconfig br0 172.17.0.4/24 up
ifconfig docker0 172.17.0.3/24 up

提示：以上两个脚本在物理主机上通过ssh执行时通过 nohup ./vsctl-add.sh & 方式执行，否则会出现
网络断掉执行不成功的情况。

        （2）配置VxLAN实现跨主机互联

#host10
ovs-vsctl add-port br0 vx1 -- set interface vx1 type=vxlan options:remote_ip=192.168.1.11

#host11
ovs-vsctl add-port br0 vx1 -- set interface vx1 type=vxlan options:remote_ip=192.168.1.10

#执行完毕后查看
[[email protected] ~]# ovs-vsctl show
a8251e22-bb31-4ee6-8321-49fbd0f1b735
    Bridge "br0"
        Port "vx1"
            Interface "vx1"
                type: vxlan
                options: {remote_ip="192.168.1.11"}
        Port "veth1pl5407"
            Interface "veth1pl5407"
        Port "br0"
            Interface "br0"
                type: internal
        Port "docker0"
            Interface "docker0"
        Port "veth1pl4977"
            Interface "veth1pl4977"
    Bridge "br1"
        Port "eth0"
            Interface "eth0"
        Port "br1"
            Interface "br1"
                type: internal

    2.3 创建四个容器

        这里通过pipework固定容器IP地址，以后加入到/etc/rc.local里面实现开机启动自动配置。

#host10
docker run -itd --net=none --name test1 centos:6 /bin/bash
docker run -itd --net=none --name test2 centos:6 /bin/bash
pipework br0 test1 172.17.0.101/[email protected]
pipework br0 test2 172.17.0.102/[email protected]

#host11
docker run -itd --net=none --name test3 centos:6 /bin/bash
docker run -itd --net=none --name test4 centos:6 /bin/bash
pipework br0 test3 172.17.0.103/[email protected]
pipework br0 test4 172.17.0.104/[email protected]

    2.4 测试

        从test1容器访问另外三个容器可以正常通讯。

3. 总结

    通过这个配置可以看到OpenvSwitch的强大之处，ovs不仅仅用于docker容器，还可以应用虚拟主机网络。通过软件定义网络，极大的简化了网络配置。docker在1.9版本之后加入overlay网络，运用的也是ovs技术。

本文出自 “OrangeBrain” 博客，请务必保留此出处http://orangebrain.blog.51cto.com/11178429/1741242