k8s网络通信(flannelcalico)

Posted 2021-08-29 S4061222

目录

• 一、k8s网络通信
• 二、Flannel网络插件(只通信，无策略)
• • • 1.hots-gw主机网关(flannel插件)
• 三、calico网络插件(通信和策略)
• • 1.calico简介：
  • 2.calico组件安装
  • 3.calico 的网络策略
  • • 3.1 限制访问指定服务
    • 3.2 允许指定pod访问服务
    • 3.3 禁止 namespace 中所有 Pod 之间的相互访问
    • 3.4 禁止其他 namespace 访问服务
    • 3.5 只允许指定namespace访问服务
    • 3.6 允许外网访问服务

一、k8s网络通信

k8s通过CNI接口接入其他插件来实现网络通讯。目前比较流行的插件有flannel，calico等。 CNI插件存放位置：（因此更改、重置网络插件都需要将这个目录下的文件清空）
cat /etc/cni/net.d/10-flannel.conflist 插件使用的解决方案如下：

• 虚拟网桥，虚拟网卡，多个容器共用一个虚拟网卡进行通信。
• 多路复用：MacVLAN，多个容器共用一个物理网卡进行通信。
• 硬件交换：SR-LOV，一个物理网卡可以虚拟出多个接口，这个性能最好。

（1）容器间通信：同一个pod内的多个容器间的通信，通过lo即可实现；

（2）pod之间的通信：

• 同一节点的pod之间通过cni网桥转发数据包。
• 不同节点的pod之间的通信需要网络插件支持。

（3）pod和service通信:
通过iptables或ipvs实现通信，ipvs取代不了iptables，因为ipvs只能做负载均衡，而做不了nat转换。

（4）pod和外网通信：iptables的MASQUERADE。

（5）Service与集群外部客户端的通信：（ingress、nodeport、loadbalancer）

二、Flannel网络插件(只通信，无策略)

• VXLAN，即Virtual Extensible LAN（虚拟可扩展局域网），是Linux本身支持的一网种网络虚拟化技术。VXLAN可以完全在内核态实现封装和解封装工作，从而通过“隧道”机制，构建出覆盖网络（Overlay Network）。

• VTEP：VXLAN Tunnel End Point（虚拟隧道端点），在Flannel中 VNI的默认值是1，这也是为什么宿主机的VTEP设备都叫flannel.1的原因。

• Cni0: 网桥设备，每创建一个pod都会创建一对 veth pair。其中一端是pod中的eth0，另一端是Cni0网桥中的端口（网卡）。

• Flannel.1: TUN设备(虚拟网卡)，用来进行 vxlan 报文的处理（封包和解包）。不同node之间的pod数据流量都从overlay设备以隧道的形式发送到对端。

• Flanneld：flannel在每个主机中运行flanneld作为agent，它会为所在主机从集群的网络地址空间中，获取一个小的网段subnet，本主机内所有容器的IP地址都将从中分配。同时Flanneld监听K8s集群数据库，为flannel.1设备提供封装数据时必要的mac、ip等网络数据信息。

Flannel vxlan模式跨主机通信原理

• 当容器发送IP包，通过veth pair 发往cni网桥，再路由到本机的flannel.1设备进行处理。
• VTEP设备之间通过二层数据帧进行通信，源VTEP设备收到原始IP包后，在上面加上一个目的MAC地址，封装成一个内部数据帧，发送给目的VTEP设备。
• 内部数据桢，并不能在宿主机的二层网络传输，Linux内核还需要把它进一步封装成为宿主机的一个普通的数据帧，承载着内部数据帧通过宿主机的eth0进行传输。
• Linux会在内部数据帧前面，加上一个VXLAN头，VXLAN头里有一个重要的标志叫VNI，它是VTEP识别某个数据桢是不是应该归自己处理的重要标识。
• flannel.1设备只知道另一端flannel.1设备的MAC地址，却不知道对应的宿主机地址是什么。在linux内核里面，网络设备进行转发的依据，来自FDB的转发数据库，这个flannel.1网桥对应的FDB信息，是由flanneld进程维护的。
• linux内核在IP包前面再加上二层数据帧头，把目标节点的MAC地址填进去，MAC地址从宿主机的ARP表获取。
• 此时flannel.1设备就可以把这个数据帧从eth0发出去，再经过宿主机网络来到目标节点的eth0设备。目标主机内核网络栈会发现这个数据帧有VXLAN Header，并且VNI为1，Linux内核会对它进行拆包，拿到内部数据帧，根据VNI的值，交给本机flannel.1设备处理,flannel.1拆包，根据路由表发往cni网桥，最后到达目标容器。

flannel支持多种后端：

(1) Vxlan

• vxlan :报文封装，默认
• Directrouting :直接路由，跨网段使用vxlan，同网段使用host-gw模式。

(2) host-gw：
主机网关，性能好，但只能在二层网络中，不支持跨网络，如果有成千上万的Pod，容易产生广播风暴，不推荐
(3) UDP：
性能差，不推荐

两种修改方式：
vxlan：+ directrouting
host-gw

此处我们选择host-gw主机网关模式作实验

1.hots-gw主机网关(flannel插件)

直接写入静态路由

查看pod信息的时候，flannel模式还在

修改kube-flannel配置文件，将type由vxlan改为直连模式host-gw

删除节点副本，重新生成读取修改的文件会生效

修改后node节点网关查看

当访问本地网络时直接走cni，0网段走eth0的172.25.28.2; 2 网段直接走eth0到172.25.28.4 。
在所有结点上会生成主机网关；此模式的前提是所有节点在一个 vlan中。
直接走eth0，无flannel1，必须在同一vlan，否则无法路由

三、calico网络插件(通信和策略)

1.calico简介：

• flannel实现的是网络通信，calico的特性是在pod之间的隔离。
• 通过BGP路由，但大规模端点的拓扑计算和收敛往往需要一定的时间和计算资源。
• 纯三层的转发，中间没有任何的NAT和overlay，转发效率最好。
• Calico 仅依赖三层路由可达。Calico 较少的依赖性使它能适配所有 VM、Container、白盒或者混合环境场景。

官网：https://docs.projectcalico.org/getting-started/kubernetes/self-managed-onprem/onpremises

2.calico组件安装

安装caloco替换原先的flannel
建立一个目录calico用来存放calico的文件

在私有仓库建立新的项目calico

将calico-v3.19.1.tar拉取下来上传私有仓库hyl.westos.org



修改calico.yaml资源清单的镜像版本（4个），隧道模式关闭

删除之前的网络插件flannel

所有k8s节点的网络插件配置缓存文件移走（server2，3，4都需要）


执行calico.yaml清单，完成初始化

查看节点，可以看到正在初始化


查看网关：
由于未重启pod，之前的景泰路由还存在，此处每个网段都有2个静态路由地址

此处的lb-svc是calico环境下创建的（之前的flanner环境下的lb-svc已经删除）

访问IP成功

外部访问成功

3.calico 的网络策略

3.1 限制访问指定服务

此实验是限制访问 myapp 标签的服务

cat deny-nginx.yaml

apiVersion: networking.k8s.io/v1
kind: NetworkPolicy
metadata:
  name: deny-nginx
spec:
  podSelector:
    matchLabels:
      app: myapp

此处一定要重启pod！！！

编写 deny-nginx.yaml 清单

重启pod后重新生成lb-svc服务


标签为myapp的无法访问

标签为demo的可以访问，myapp的无法访问

标签为test的容器也是无法访问标签为myapp的

3.2 允许指定pod访问服务

此试验是指定pod为test标签的可以访问myapp标签的pod

cat deny-nginx.yaml


pod为test标签的访问myapp标签的pod，访问成功

3.3 禁止 namespace 中所有 Pod 之间的相互访问

此实验是限制namespaces为default的所有pod间的访问

删除之前的策略，应用新的网络策略

限制namespaces为default

查看此策略的详细信息

查看节点的IP地址

内外都不能访问

3.4 禁止其他 namespace 访问服务

此实验是禁止test的namespace的访问default的namespace，还是上个实验中的ns.yaml

新建test的ns

test的命名空间中创建test和nginx的pod

查看ns为test和ns为default的pod的ip

发现test无法访问default

3.5 只允许指定namespace访问服务

此实验是只允许role=prod，标签为app的才可以访问default的命名空间

有两个网络策略

只能访问default的标签为myapp的pod

3.6 允许外网访问服务

3.4+3.5基础上加入第三条网络策略

三条网络策略

外网访问成功