docker技术剖析--docker网络

Posted 2020-08-24

防伪码：不经一番寒彻骨，怎得梅花扑鼻香。

                                    docker技术剖析--docker网络

一、 Docker 中的网络功能介绍

默认情况下，容器可以建立到外部网络的连接，但是外部网络无法连接到容器。

Docker 允许通过外部访问容器或容器互联的方式来提供网络服务

外部访问容器:

容器中可以运行一些网络应用，要让外部也可以访问这些应用，可以通过  -P  或  -p  参数来指定端口映射。

练习环境：运行一个容器，提供web服务和ssh服务

宿主机启用路由转发（net.ipv4.ip_forward=1）

通过docker  commit或dockerfile生成一个web应用的镜像，这里我通过docker dockerfile构建镜像模板

1） 创建一个sshd_dockerfile工作目录

编辑run.sh文件

#!/bin/sh

/usr/sbin/httpd -D DFOREGROUND

/usr/sbin/sshd -D

在主机上生成ssh秘钥对，并创建authorized_keys文件

在sshd_dockerfile目录下，使用docker  build命令来创建镜像，注意：在最后还有一个”.”，表示使用当前目录中的dockerfile

执行docker images查看新生成的镜像

当使用–P(大写)标记时，Docker 会随机映射一个随机的端口到内部容器开放的网络端口。

注：-P使用时需要指定--expose选项或dockerfile中用expose指令容器要暴露的端口，指定需要对外提供服务的端口

使用  docker ps  可以看到，本地主机的32770被映射到了容器的22端口，本地主机的32769被映射到了容器的80端口，本地主机的32768被映射到了容器的443 端口。

此时访问本机的 32770端口即可访问容器内 ssh 应用。

注：192.168.12.128是宿主主机地址。

查看容器运行的httpd进程

此时访问本机的 32769端口即可访问容器内 web 应用

-p（小写）则可以指定要映射的端口，并且，在一个指定端口上只可以绑定一个容器。支持的格式有

ip:hostPort:containerPort 

ip::containerPort 

hostPort:containerPort

注意：

容器有自己的内部网络和 ip 地址（使用  docker inspect  可以获取所有的变量。）

-p 标记可以多次使用来绑定多个端口

 

映射所有接口地址：

使用 hostPort:containerPort 格式，将本地的10111端口映射到容器的 22 端口，本地的801端口映射到容器的80端口可以执行

测试访问：

1） ssh测试：

使用xshell工具：

测试web访问

映射到指定地址的指定端口

可以使用 ip:hostPort:containerPort 格式，指定映射使用一个特定地址，比如宿主机网卡配置的一个地址192.168.12.128

映射到指定地址的任意端口

使用 ip::containerPort 绑定192.168.12.128的任意端口到容器的80端口，本地主机会自动分配一个口。--name为启动的容器指定一个容器名。

注：还可以使用 udp 标记来指定 udp 端口

# docker run -d -p 127.0.0.1:5000:5000/udp –name db4 commit:v1

查看映射端口配置

使用 docker port 来查看当前映射的端口配置，也可以查看到绑定的地址

Docker NAT iptables实现

默认情况下，容器可以主动访问到外部网络的连接，但是外部网络无法访问到容器

 

容器访问外部实现

容器所有到外部网络的连接，源地址都会被 NAT 成本地系统的 IP 地址（即docker0地址）。这是使用 iptables 的源地址伪装操作实现的

查看主机的 NAT 规则

其中，上述规则将所有源地址在 172.17.0.0/16 网段，目标地址为其他网段（外部网络）的流量动态伪装为从系统网卡发出。MASQUERADE 跟传统 SNAT 的好处是它能动态从网卡获取地址。

 

外部访问容器实现

容器允许外部访问，可以在 docker run 时候通过 -p 或 -P 参数来启用，不管用那种办法，其实也是在本地的 iptable 的 nat 表中添加相应的规则

使用 -P 时：

# iptables -t nat –nvL

使用 -p 80:80 时：

# iptables -t nat –nvL

docker0  网桥

Docker服务默认会创建一个 docker0 网桥（其上有一个 docker0 内部接口），它在内核层连通了其他的物理或虚拟网卡，这就将所有容器和本地主机都放到同一个物理网络。

Docker 默认指定了 docker0 接口的 IP 地址和子网掩码，让主机和容器之间可以通过网桥相互通信

由于目前 Docker 网桥是 Linux 网桥，用户可以使用 brctl show 来查看网桥和端口连接信息。

注：brctl 命令在centos中可以使用yum  install bridge-utils 来安装

每次创建一个新容器的时候，Docker 从可用的地址段中选择一个空闲的 IP 地址分配给容器的eth0端口。使用本地主机上 docker0 接口的 IP 作为所有容器的默认网关。

Docker 网络配置

Docker 四种网络模式

docker run 创建 Docker 容器时，可以用 --net 选项指定容器的网络模式，Docker 有以下 4 种网络模式： 

host 模式，使用 --net=host 指定。

container 模式，使用 --net=container:NAMEorID 指定。

none 模式，使用 --net=none 指定。

bridge 模式，使用 --net=bridge 指定，默认设置。

host 模式

如果启动容器的时候使用 host 模式，那么这个容器将不会获得一个独立的 Network Namespace，而是和宿主机共用一个 Network Namespace。容器将不会虚拟出自己的网卡，配置自己的 IP 等，而是使用宿主机的 IP 和端口。

例如，我们在192.168.1.102/24 的机器上用 host 模式启动一个含有 web 应用的 Docker 容器，监听 tcp 80 端口。当我们在容器中执行任何类似 ifconfig 命令查看网络环境时，看到的都是宿主机上的信息。而外界访问容器中的应用，则直接使用192.168.1.102:80 即可，不用任何 NAT 转换，就如直接跑在宿主机中一样。但是，容器的其他方面，如文件系统、进程列表等还是和宿主机隔离的。

启动容器前，执行pgrep http查看宿主机httpd进程

上面显示结果说明宿主机没有httpd进程运行

用 host 模式启动一个含有 web 应用的 Docker 容器

用浏览器访问宿主机地址的80端口

注意防火墙：

container 模式

这个模式指定新创建的容器和已经存在的一个容器共享一个 Network Namespace，而不是和宿主机共享。新创建的容器不会创建自己的网卡，配置自己的 IP，而是和一个指定的容器共享 IP、端口范围等。同样，两个容器除了网络方面，其他的如文件系统、进程列表等还是隔离的。两个容器的进程可以通过 lo 网卡设备通信。

运行一个容器：查看容器的IP

将容器切换到后台运行:ctrl+p  ctrl+q

在运行一个容器使用container模式：查看新容器的地址

bridge模式

当 docker 启动时，会在主机上创建一个 docker0 的虚拟网卡。他随机挑选 RFC1918 私有网络中的一段地址给 docker0 。比如 172.17.0.1/16,16 位掩码的网段可以拥有 65534 个地址可以使用，这对主机和容器来说应该足够了。

docker0  不是普通的网卡，他是桥接到其他网卡的虚拟网卡，容器使用它来和主机相互通信。当创建一个 docker 容器的时候，它就创建了一个对接口，当数据包发送到一个接口时，另外一个接口也可以收到相同的数据包，它们是绑在一起的一对孪生接口。这对接口在容器中那一端的的名字是 eth0 ，宿主主机端的会指定一个唯一的名字，比如 vethAQI2QT 这样的名字。

所有的 veth* 的接口都会桥接到 docker0 ，这样 docker 就创建了在主机和所有容器之间一个虚拟共享网

bridge 模式是 Docker 默认的网络设置，此模式会为每一个容器分配 Network Namespace、设置 IP 等，并将一个主机上的 Docker 容器连接到一个虚拟网桥上。当 Docker server 启动时，会在主机上创建一个名为 docker0 的虚拟网桥，此主机上启动的 Docker 容器会连接到这个虚拟网桥上。虚拟网桥的工作方式和物理交换机类似，这样主机上的所有容器就通过交换机连在了一个二层网络中。接下来就要为容器分配 IP 了，Docker 会从 RFC1918 所定义的私有 IP 网段中，选择一个和宿主机不同的IP地址和子网分配给 docker0，连接到 docker0 的容器就从这个子网中选择一个未占用的 IP 使用。如一般 Docker 会使用 172.17.0.0/16 这个网段，并将 172.17.0.1/16 分配给 docker0 网桥（在主机上使用 ifconfig 命令是可以看到 docker0 的，可以认为它是网桥的管理接口，在宿主机上作为一块虚拟网卡使用）

Docker完成以上网络配置的过程大致是这样的：

1.在主机上创建一对虚拟网卡veth pair设备。veth设备总是成对出现的，它们组成了一个数据的通道，数据从一个设备进入，就会从另一个设备出来。因此，veth设备常用来连接两个网络设备。

2.Docker将veth pair设备的一端放在新创建的容器中，并命名为eth0。另一端放在主机中，以veth65f9这样类似的名字命名，并将这个网络设备加入到docker0网桥中，可以通过brctl show命令查看。

注：brctl 工具依赖 bridge-utils 软件包

3.从docker0子网中分配一个IP给容器使用，并设置docker0的IP地址为容器的默认网关。

容器内部访问外网以及容器和主机之间的端口映射都是通过Iptables实现的，可以查看Iptables表分析。

 

查看当前 docker0地址

在容器运行时，每个容器都会分配一个特定的虚拟机口并桥接到 docker0。每个容器都会配置同 docker0 ip 相同网段的专用 ip 地址，docker0 的 IP 地址被用于所有容器的默认网关。

运行一个容器：

查看当前运行的容器：

通过brctl show命令查看

以上, docker0 扮演着veth986582c容器的虚拟接口 vethxx interface 桥接的角色。

执行docker  network  inspect  bridge查看桥接网络的详细信息

自定义网桥

除了默认的  docker0  网桥，用户也可以指定网桥来连接各个容器。在启动 Docker 服务的时候，使用  -b BRIDGE  或 --bridge=BRIDGE  来指定使用的网桥。

Docker 允许你管理 docker0 桥接或者通过-b选项自定义桥接网卡，需要安装bridge-utils软件包。

基本步骤如下：

1.确保 docker 的进程是停止的

2.创建自定义网桥

3.给网桥分配特定的 ip

4.以 -b 的方式指定网桥

 

具体操作步骤：

如果服务已经运行，那需要先停止服务，并删除旧的网桥

然后创建一个网桥  bridge0，给网桥分配特定的 ip

查看确认网桥创建并启动

或

修改/etc/sysconfig/docker文件

修改前：

修改后：添加前面所新建的网桥

启动 Docker 服务。

新建一个容器，可以看到它已经桥接到了  bridge0  上。

进入容器，查看容器的IP

docker 服务启动成功并绑定容器到新的网桥，新建一个容器，你会看到它的 ip 是我们的设置的新 ip段， docker 会自动检测到它。用 brctl show 可以看到容器启动或则停止后网桥的配置变化，在容器中使用 ip a 和 ip r 来查看 ip 地址配置和路由信息。

 

让我们回顾一些基础知识：

机器需要一个网络接口来发送和接受数据包，路由表来定义如何到达哪些地址段。这里的网络接口可以不是物理接口。事实上，每个 linux 机器上的 lo 环回接口（ docker  容器中也有）就是一个完全的linux 内核虚拟接口，它直接复制发送缓存中的数据包到接收缓存中。 docker 让宿主主机和容器使用特殊的虚拟接口来通信 -- 通信的 2 端叫“ peers“，他们在主机内核中连接在一起，所以能够相互通信。创建他们很简单，前面介绍过了。

docker 创建容器的步骤如下：

创建一对虚拟接口

其中宿主主机一端使用一个名字比如 veth65f9 ，他是唯一的 , 另外一端桥接到默认的 docker0, 或其它你指定的桥接网卡。

主机上的 veth65f9 这种接口映射到新的新容器中的名称通常是eth0, 在容器这个隔离的 networknamespace  中，它是唯一的，不会有其他接口名字和它冲突。

从主机桥接网卡的地址段中获取一个空闲地址给eth0使用，并设定默认路由到桥接网卡。

完成这些之后，容器就可以使用这eth0虚拟网卡来连接其他容器和其他网络。

你也可以为特殊的容器设定特定的参数，在 docker run 的时候使用 --net ，它有 4 个可选参数：

--net=bridge ：默认连接到 docker0 网桥。

--net=host ：告诉 docker 不要将容器放到隔离的网络堆栈中。尽管容器还是有自己的文件系统、进程列表和资源限制。但使用 ip addr 命令这样命令就可以知道实际上此时的的容器处于和 docker  宿主主机的一样的网络级别，它拥有完全的宿主主机接口访问权限。虽然它不允许容器重新配置主机的网络堆栈，除非 --privileged=true，—但是容器进程可以跟其他 root 进程一样可以打开低数字的端口，可以访问本地网络服务比如 D-bus ，还可以让容器做一些意想不到的事情，比如重启主机，使用这个选项的时候要非常小心！

--net=container:NAME_or_ID ：告诉 docker 将新容器的进程放到一个已经存在的容器的网络堆栈中，新容器进程有它自己的文件系统、进程列表和资源限制，但它会和那个已经存在的容器共享 ip 地址和端口，他们之间来可以通过环回接口通信。

--net=none ：告诉 docker 将新容器放到自己的网络堆栈中，但是不要配置它的网络。

 

下面通过配置一个以 --net=none 启动的容器，使他达到跟平常一样具有访问网络的权限。来介绍docker 是如何连接到容器中的。

 

启动一个运行 /bin/bash的容器，并指定 --net=none

再开启一个新的终端，查找这个容器的进程 id ，然后创建它的命名空间，后面的 ip netns会用到

检查桥接网卡的 ip 和子网掩码

创建一对” peer“接口 A 和 B ，绑定 A 到网桥，并启用它

将 B 放到容器的网络命名空间，命名为eth0, 配置一个空闲的 ip

自此，你又可以像平常一样使用网络了

当你退出容器后， docker 清空容器，容器的eth0随网络命名空间一起被摧毁， A  接口也被自动从docker0 取消注册。不用其他命令，所有东西都被清理掉了！

注意 ip netns exec 命令，它可以让我们像 root 一样配置网络命名空间。但在容器内部无法使用，因为统一的安全策略， docker 限制容器进程配置自己的网络。使用 ip netns exec  可以让我们不用设置 --privileged=true 就可以完成一些可能带来危险的操作。

DNS/HOSTNAME自定义

Docker 没有为每个容器专门定制镜像，那么怎么自定义配置容器的主机名和 DNS 配置呢？秘诀就是它利用虚拟文件来挂载到来容器的 3 个相关配置文件。

在容器中使用 mount 命令可以看到挂载信息：注（mount命令软件包util-linux）

# mount

...

这种机制可以让宿主主机 DNS 信息发生更新后，所有 Docker 容器的 dns 配置通过 /etc/resolv.conf文件立刻得到更新。

如果用户想要手动指定容器的配置，可以利用下面的选项。

-h HOSTNAME or --hostname=HOSTNAME 设定容器的主机名，它会被写到容器内的/etc/hostname 和 /etc/hosts。但它在容器外部看不到，既不会在 docker ps 中显示，也不会在其他的容器的 /etc/hosts 看到。

--link=CONTAINER_NAME:ALIAS 选项会在创建容器的时候，添加一个其他容器的主机名到

/etc/hosts 文件中，让新容器的进程可以使用主机名 ALIAS 就可以连接它。

--dns=IP_ADDRESS 添加 DNS 服务器到容器的 /etc/resolv.conf 中，让容器用这个服务器来解析所有不在 /etc/hosts 中的主机名。

--dns-search=DOMAIN 设定容器的搜索域，当设定搜索域为 .example.com 时，在搜索一个名为 host的主机时， DNS 不仅搜索 host，还会搜索 host.example.com。注意：如果没有上述最后 2 个选项，Docker 会默认用主机上的 /etc/resolv.conf 来配置容器。

具体其他选项可以查看docker  run  --help帮助

 

docker中的容器互联--linking 系统

docker 有一个 linking  系统可以连接多个容器。它会创建一对父子关系，父容器可以看到所选择的子容器的信息。该系统会在源和接收容器之间创建一个隧道，接收容器可以看到源容器指定的信息

自定义容器的命名

linking系统依据容器的名称来执行，因此，首先需要自定义一个好记的容器命名。当我们创建容器的时候，系统会随机分配一个名字。当然我们也可以自己来命名容器，这样做有 2 个好处：

当我们自己指定名称的时候，比较好记，比如一个 web 应用我们可以给它起名叫 web

当我们要连接其他容器时候，可以作为一个有用的参考点，比如连接 web 容器到 db 容器

使用  --name  标记可以为容器自定义命名。使用  docker ps  来验证设定的命名，也可以使用  docker inspect  来查看容器的名字docker inspect -f "{{ .Name }}" 容器id

注意：容器的名称是唯一的。如果已经命名了一个叫 web 的容器，当你要再次使用 web 这个名称的时候，需要先用 docker rm  来删除之前创建的同名容器。

在执行  docker run  的时候如果添加  --rm  标记，则容器在终止后会立刻删除。注意， --rm  和  -d  参数不能同时使用。

 

容器互联

使用--link参数可以让容器之间安全的进行交互。

下面先创建一个新的数据库容器。

docker run -dit --name dbserver镜像id

然后创建一个新的 web 容器，并将它连接到 db 容器

--link 标记的格式： --link name:alias ， name 是我们要链接的容器的名称， alias 是这个链接的别名。

使用docker ps来查看容器的连接

我们可以看到我们命名的容器， dbserver 和 web ， dbserver 容器的 names 列有 dbserver 也有 web/dbserver 。这表示 web 容器链接到 db 容器，他们是一个父子关系。在这个 link 中， 2 个容器中有一对父子关系。 docker 在 2 个容器之间创建了一个安全的连接，而且不用映射dbserver容器的端口到宿主主机上。所以在启动 db 容器的时候也不用 -p 和 -P 标记。使用 link 之后我们就可以不用暴露数据库端口到网络上。

 

注意：你可以链接多个子容器到父容器，比如我们可以链接多个 web 到 db 容器上。

 

Docker 会添加子容器的 host 信息到父容器的  /etc/hosts  的文件。

下面是父容器 web 的 hosts 文件

这里有 2 个 hosts，第一个是 web 容器，web 容器用 id 作为他的主机名，第二个是 dbserver 容器的 ip 和主机名。可以在 web 容器中安装 ping 命令来测试跟dbserver容器的连通。

注意：官方的镜像默认没有安装 ping，需要自行安装，软件包名iputils

用 ping 来测试db容器，

附：在bridge模式下，连在同一网桥上的容器可以相互通信（若出于安全考虑，也可以禁止它们之间通信，方法是在DOCKER_OPTS变量中设置--icc=false，这样只有使用--link才能使两个容器通信）。

 

多台物理主机之间的容器互联（暴露容器到真实网络中）

docker  默认的桥接网卡是 docker0 。它只会在本机桥接所有的容器网卡，举例来说容器的虚拟网卡在主机上看一般叫做 vethxxx，而 docker 只是把所有这些网卡桥接在一起，如下：

这样就可以把这个网络看成是一个私有的网络，通过 nat  连接外网，如果要让外网连接到容器中，就需要做端口映射，即 -p 参数。

如果在企业内部应用，或则做多个物理主机的集群，可能需要将多个物理主机的容器组到一个物理网络中来，那么就需要将这个网桥桥接到我们指定的网卡上。

主机 A 和主机 B 的网卡一都连着物理交换机的同一个 vlan 101, 这样网桥一和网桥三就相当于在同一个物理网络中了，而容器一、容器三、容器四也在同一物理网络中了，他们之间可以相互通信，而且可以跟同一 vlan 中的其他物理机器互联。

这样就直接把容器暴露到物理网络上了，多台物理主机的容器也可以相互联网了。需要注意的是，这样就需要自己来保证容器的网络安全了。

不同容器之间的通信可以借助于 pipework 这个工具

pipework是由Docker的工程师Jérôme Petazzoni开发的一个Docker网络配置工具，由200多行shell实现，方便易用。

下载地址：wget https://github.com/jpetazzo/pipework.git

unzip  pipework-master.zip

cp  -p  /root/pipework-master/pipework  /usr/local/bin/

安装相应依赖软件

yum install bridge-utils -y

配置桥接网络

重启network服务并查看IP地址

把 docker 的桥接指定为 br0，这样跨主机不同容器之间通过 pipework 新建 docker 容器的网卡桥接到 br0，这样跨主机容器之间就可以通信了。

CentOS 7/RHEL 7系统

#systemctl stop docker

修改/etc/sysconfig/docker

#systemctl start docker

pipework

把 docker 默认桥接指定到了 br0，则最好在创建容器的时候加上--net=none，防止自动分配的 IP 在局域网中有冲突。

使用镜像运行一个容器

注：默认不指定网卡设备名，则默认添加为 eth1

注：另外 pipework 不能添加静态路由，如果有需求则可以在 run 的时候加上 --privileged=true 权限在容器中手动添加，但这种安全性有缺陷，可以通过 ip netns 操作

route -n

访问容器提供的web服务：

pipework可以在下面用三个场景来使用和工作原理。

1、将Docker容器配置到本地网络环境中
为了使本地网络中的机器和Docker容器更方便的通信，我们经常会有将Docker容器配置到和主机同一网段的需求。这个需求其实很容易实现，我们只要将Docker容器和主机的网卡桥接起来，再给Docker容器配上IP就可以了。
下面我们来操作一下，我主机A地址为192.168.1.102/24,网关为192.168.1.1,需要给Docker容器的地址配置为192.168.1.150/24。在主机A上做如下操作：
安装pipework
下载地址：wget https://github.com/jpetazzo/pipework.git

unzip  pipework-master.zip

cp  -p  /root/pipework-master/pipework  /usr/local/bin/
启动Docker容器。
docker run -itd --name test1 镜像 /bin/bash
配置容器网络，并连到网桥br0上。网关在IP地址后面加@指定。
pipework br0 test1 192.168.1.150/[email protected]
将主机enp0s3桥接到br0上，并把enp0s3的IP配置在br0上。

ip addr add 192.168.1.102/24 dev br0

ip addr del 192.168.1.102/24 dev enp0s3

brctl addif br0 enp0s3

ip route del default

ip route add default via192.168.1.1 dev br0 

注：如果是远程操作，中间网络会断掉，所以放在一条命令中执行。
ip addr add 192.168.1.102/24 dev br0; \ ip addr del 192.168.1.102/24 dev enp0s3; \ brctl addif br0 enp0s3; ip route del default; \ ip route add default via192.168.1.1 dev br0 
完成上述步骤后，我们发现Docker容器已经可以使用新的IP和主机网络里的机器相互通信了。

进入容器内部查看容器的地址：

pipework工作原理分析
那么容器到底发生了哪些变化呢？我们docker attach到test1上，发现容器中多了一块eth1的网卡，并且配置了192.168.1.150/24的IP，而且默认路由也改为了192.168.1.1。这些都是pipework帮我们配置的。

首先pipework检查是否存在br0网桥，若不存在，就自己创建。
   

创建veth pair设备，用于为容器提供网卡并连接到br0网桥。
   

使用docker inspect找到容器在主机中的PID，然后通过PID将容器的网络命名空间链接到/var/run/netns/目录下。这么做的目的是，方便在主机上使用ip netns命令配置容器的网络。因为，在Docker容器中，我们没有权限配置网络环境。

将之前创建的veth pair设备分别加入容器和网桥中。在容器中的名称默认为eth1，可以通过pipework的-i参数修改该名称。

   

然后就是配置新网卡的IP。若在IP地址的后面加上网关地址，那么pipework会重新配置默认路由。这样容器通往外网的流量会经由新配置的eth1出去，而不是通过eth0和docker0。(若想完全抛弃自带的网络设置，在启动容器的时候可以指定--net=none)
以上就是pipework配置Docker网络的过程，这和Docker的bridge模式有着相似的步骤。事实上，Docker在实现上也采用了相同的底层机制。
通过源代码，可以看出，pipework通过封装Linux上的ip、brctl等命令，简化了在复杂场景下对容器连接的操作命令，为我们配置复杂的网络拓扑提供了一个强有力的工具。当然，如果想了解底层的操作，我们也可以直接使用这些Linux命令来完成工作，甚至可以根据自己的需求，添加额外的功能。

2、单主机Docker容器VLAN划分
pipework不仅可以使用Linux bridge连接Docker容器，还可以与OpenVswitch结合，实现Docker容器的VLAN划分。下面，就来简单演示一下，在单机环境下，如何实现Docker容器间的二层隔离。
为了演示隔离效果，我们将4个容器放在了同一个IP网段中。但实际他们是二层隔离的两个网络，有不同的广播域。

安装openvswitch

安装基础环境

yum install gcc make python-devel openssl-devel kernel-devel graphviz \

kernel-debug-devel autoconf automake rpm-build redhat-rpm-config \

libtool

下载openvswitch的包

wget http://openvswitch.org/releases/openvswitch-2.3.1.tar.gz

解压与打包

之后会在~/rpmbuild/RPMS/x86_64/里有2个文件

安装第一个就行

启动

或

systemctl start openvswitch

查看状态

或

可以看到是正常运行状态

安装pipework过程略，参考前面的操作

创建交换机，把物理网卡加入ovs1

在主机A上创建4个Docker容器，test1、test2、test3、test4

将test1，test2划分到一个vlan中，

将test3，test4划分到另一个vlan中

vlan在mac地址后加@指定，此处mac地址省略。（注：有空格）

完成上述操作后，使用docker attach连到容器中，然后用ping命令测试连通性，发现test1和test2可以相互通信，但与test3和test4隔离。这样，一个简单的VLAN隔离容器网络就已经完成。

验证：

由于Openvwitch本身支持VLAN功能，所以这里pipework所做的工作和之前介绍的基本一样，只不过将Linux bridge替换成了OpenVswitch，在将veth pair的一端加入ovs0网桥时，指定了tag。底层操作如下：

ovs-vsctl add-port ovs0 veth* tag=100

3 、多主机Docker容器的VLAN划分
上面介绍完了单主机上VLAN的隔离，下面我们将情况延伸到多主机的情况。有了前面两个例子做铺垫，这个也就不难了。为了实现这个目的，我们把宿主机上的网卡桥接到各自的OVS网桥上，然后再为容器配置IP和VLAN就可以了。我们实验环境如下，主机A和B各有一块网卡enp0s3，IP地址分别为10.10.101.105/24、10.10.101.106/24。在主机A上创建两个容器test1、test2，分别在VLAN 100和VLAN 200上。在主机B上创建test3、test4，分别在VLAN 100和VLAN 200 上。最终，test1可以和test3通信，test2可以和test4通信。

拓扑图如下所示

在主机A上
创建Docker容器
docker run -itd --name test1 ubuntu /bin/bash

docker run -itd --name test2 ubuntu /bin/bash
划分VLAN
pipework ovs0 test1 192.168.0.1/24  @100

pipework ovs0 test2 192.168.0.2/24  @200
将eth0桥接到ovs0上
ip addr add 10.10.101.105/24 dev ovs0

ip addr del 10.10.101.105/24 dev eth0;

ovs-vsctl add-port ovs0 eth0
ip route del default

ip route add default gw 10.10.101.254 dev ovs0
在主机B上
创建Docker容器
docker run -itd --name test3 ubuntu /bin/bash

docker run -itd --name test4 ubuntu /bin/bash
划分VLAN
pipework ovs0 test1 192.168.0.3/24 @100

pipework ovs0 test2 192.168.0.4/24 @200
将eth0桥接到ovs0上
ip addr add 10.10.101.106/24 dev ovs0

ip addr del 10.10.101.106/24 dev eth0;

ovs-vsctl add-port ovs0 eth0

ip route del default

ip route add default gw 10.10.101.254 dev ovs0
完成上面的步骤后，主机A上的test1和主机B上的test3容器就划分到了一个VLAN中，并且与主机A上的test2和主机B上的test4隔离（主机eth0网卡需要设置为混杂模式，连接主机的交换机端口应设置为trunk模式，即允许VLAN 100和VLAN 200的包通过）。

注：除此之外，pipework还支持使用macvlan设备、设置网卡MAC地址等功能。不过，pipework有一个缺陷，就是配置的容器在关掉重启后，之前的设置会丢失。

其中promisc表示网卡混杂模式

其他参数的含义：

UP: 表示网卡开启状态；
BROADCAST: 表示支持广播；
promisc: 表示网卡混杂模式；
RUNNING: 表示网卡的网线被接上；
MULTICAST: 表示支持组播；
MTU: 表示MaximumTrasmission Unit 最大传输单元(字节)，即此接口一次所能传输的最大封包；
RX: 表示网络由激活到目前为止接收的数据包；
TX: 表示网络由激活到目前为止发送的数据包；
collisions: 表示网络信号冲突的情况；
txqueuelen: 表示传输缓冲区长度大小；

 

设置网卡工作模式

#ifconfig 网卡名 promisc 设置混杂

#ifconfig 网卡名 -promisc　取消混杂

网卡工作模式有4种，分别是：
广播(Broadcast)模式
多播(Multicast)模式
单播模式（Unicast）
混杂模式（Promiscuous）
在混杂模式下的网卡能够接收一切通过它的数据，而不管该数据目的地址是否是它。如果通过程序将网卡的工作模式设置为 “混杂模式”，那么网卡将接受所有流经它的数据帧，这实际上就是Sniffer工作的基本原理：让网卡接收一切他所能接收的数据。Sniffer就是一种 能将本地网卡状态设成混杂（promiscuous）状态的软件，当网卡处于这种"混杂"方式时，它对所有遇到的每一个数据帧都 产生一个硬件中断以便提醒操作系统处理流经该物理媒体上的每一个报文包。可见，Sniffer工作在网络环境中的底层，它会拦截所有的正在网络上传送的数据，并且通过相应的软件处理，可以实时分析这些数据的内容，进而分析所处的网络状态和整体布局。

谢谢观看，真心的希望能帮到您！

本文出自 “一盏烛光” 博客，谢绝转载！