centos7下安装docker(15.3跨主机网络-macvlan)

Posted 无踪无影

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了centos7下安装docker(15.3跨主机网络-macvlan)相关的知识,希望对你有一定的参考价值。

 

除了ovrlay,docker还开发了另一个支持跨主机容器的driver:macvlan

macvlan本身是linu kernel模块,其功能是允许在同一物理网卡上配置多了MAC地址,即:多个interface,每个interface可以配置自己的ip。macvlan本身是一种网卡虚拟化技术,Docker用macvlan实现容器网络就不奇怪了

 

macvlan最大的优点是性能极好,相比其他方案,macvlan不需要创建Linux bridge,而是直接通过以太interface连接到物理网络

 

准备实验环境:

我们会使用docker1和docker2上单独的网卡ens192和ens160创建macvlan。为保证多个MAC地址网络包都可以从ens190或者ens160通过,我们需要打开网卡的混杂模式

 

因为docker1号docker2是虚拟机,所以在网卡配置选项中设置混杂模式(注:我使用的是esxi的虚拟机,没有做这一步也可以)

当前试验环境如下:盗图

 

 

 

创建macvlan网络

docker network create -d macvlan --subnet 192.168.2.1/24 --gateway 192.168.2.1 -o parent=ens160 macnet1

 

注:macvlan网络是local网络,为了保证跨主机能够通信,用户需要自己管理IP subnet

      与其他网络不同,docker 不会为macvlan网络创建网关,这里的网关应该是真实存在的,否则路由无法通

     -o parent指定使用的网络interface

在docker2中也要执行相同的命令:docker network create -d macvlan --subnet 192.168.2.1/24 --gateway 192.168.2.1 -o parent=ens160 macnet1

 

 

在docker1中运行容器

docker network create -d macvlan --subnet 192.168.2.1/24 --gateway 192.168.2.1 -o parent=ens160 macnet1

在docker2中执行同样的操作:

验证docker1上的mac1与docker2上的mac2的连通性

两个不同主机之间的容器可以相互ping通,但是不能解析容器的主机名,可见docker没有为macvlan提供dns服务,这点与overlay是不同的

注:macvlan是物理中实实在在存在的网络,macvlan实际就是我们常用的网卡的子接口,类似于:eth0:1

 

 

macvlan网络结构分析:

macvlan不依赖linux bridge,brctl show可以确认macvlan没有创建新的bridge

查看一下容器mac1的网络设备:

除了lo,容器只有一个eth0,请注意:eth0后面还有@if2,表明该网卡有一个对应的interface,全局编号为2,。根据macvlan的原理,我们猜测这个interface就是ens192,

确认如下:

可见,容器的eth0就是ens192通过macvlan虚拟出来的interface。容器的interface直接与主机的网卡连接,这种方案是的容器无需通过NAT和端口映射就能与外网直接通信(只要有网关)在网络上与其他独立的主机没有区别

当前网络如图所示:

 

 

 

用sub-interface实现多macvlan网络

macvlan会独占主机的网卡,也就是说一个网卡只能创建一个macvlan网络,否则会报错:

但是主机host的网卡是有限的,如何支持更多的macvlan呢?

 

 

好在macvlan不仅可以连接到interface(如ens192)还可以连接到sub-interface(如:ens192.xxx)

VLAN是现代网络常用的网络虚拟化技术,它可以将物理的二层网络划分成多达4094个逻辑网络,这些网络在二层上是隔离的,每个逻辑网络(即VLAN)由VLAN ID区分,VLAN ID的取值唯1-4094

 

linux的网卡也能支持VLAN,同一个interface可以收发多个VLAN数据包,不过前提是要创建VLAN的sub-interface

 

比如:希望ens192同时支持VLAN10和VLAN20,则需要创建sub-interface ens192.10和ens192.20

在交换机上,如果某个port只能收发单个VLAN数据,该port为Access模式,如果支持多VLAN,则为trunk模式,因为我们在虚拟机上,所以无需配置

 

下面演示如何在ens192.10和ens192.20上创建macvlan网络

1.首先在docker1和docker2上创建vlan

2.创建网络

3.运行容器,分别使用macnet1和macnet2网络

4.验证网络的连通性

 

在mac1去ping mac2无法ping通,毕竟他们不在同一个网段 ,下面我们在docker1上做同样的操作

1.配置vlan

2.创建macvlan网络

3.运行容器,分别使用macnet3和macney4

4.验证容器的连通性

macnet3ping不通macnet4

我们再来试试docker1上的macnet3能不能ping通docker2上的macnet1,因为他们是在同一个网段

按正常来说他们是能够正常进行通信的,但是由于我的是在esxi的虚拟机上面做的实验,需要在esxi中设置ens192为trunk口,允许所有vlan通过后试验才会生效

即:同一个macvlan下的网络能ping通,不同的macvlan网络之间不能通信。但是更准确的说法是:不同的macvlan网络不能在二层上通信。在三层可以通过网关进行通信

现在的拓扑如下:盗图

 

 

 

下面测试通过启用网关的形式,使不同网段的macvlan打通

1.先将192。168.7.222配置成一个虚拟记得路由,设置网关并转发VLAN10和VLAN20的流量。当然使用物理路由也可以达到这种效果

确保192.168.7.222的IP Forwarding已经启用

sysctl net.ipv4.ip_forward查看是否开启转发,1表示开启,0表示没有开启

sysctl -w net.ipv4.ip_forward=1设置开启

2.在/etc/sysconfig/network-scripts/下设置192.168.7.222的sub-interface

3.将网关的IP配置到sub-interface:

ifconfig ens192.10 192.168.10.1 netmask 255.255.255.0 up

ifconfig ens192.10 192.168.20.1 netmask 255.255.255.0 up

4.设置防火墙规则;

iptables -t nat -A POSTROUTING -o eth2.10 -j MASQUERADE

iptables -t nat -A POSTROUTING -o eth2.20 -j MASQUERADE

iptables -A FORWARD -i eth2.10 -o eth2.20 -m state --state RELATED,ESTABLISHED -j ACCEPT
iptables -A FORWARD -i eth2.20 -o eth2.10 -m state --state RELATED,ESTABLISHED -j ACCEPT

iptables -A FORWARD -i eth2.10 -o eth2.20 -j ACCEPT
iptables -A FORWARD -i eth2.20 -o eth2.10 -j ACCEPT

5.当前的网络拓扑:盗图

现在不同的macvlan之间也可以进行通信

下面的图是容器之间的通信过程:盗图

1.因为容器在不同的网段,所以使用路由进行转发

 

 

 

macvlan网络的连通性和隔离性完全依赖VLAN,IP subnet和路由,docker 本身不做任何限制,用户可以像管理传统VLAN网络那样管理macvlan

 

以上是关于centos7下安装docker(15.3跨主机网络-macvlan)的主要内容,如果未能解决你的问题,请参考以下文章

centos7下安装docker(14.2跨主机网络-overlay)

centos7下安装docker(15.4跨主机网络-flannel)

centos7下安装docker(15.7容器跨主机网络---calico)

docker之跨主机通信

Docker集群下,如何用Flannel实现容器互联

centos7.2 kubeadm1.15.3部署k8s环境