K8S flannel 网络

Posted 2020-12-14 yyselisa

1. flannel 的作用

https://github.com/coreos/flannel/releases  flannel github 地址

K8S 网络插件用的最多的flannel 和calico，主要是解决不同宿主机之间的pod 通信问题。flannel 支持UDP、VxLAN、host-GW, AWS VPC和GCE路由等数据转发方式。

 1. VxLAN：使用内核中的VxLAN模块进行封装报文。也是flannel推荐的方式.

2. host-gw：要求各节点必须在同一个2层网络，通过在节点上创建目标容器地址的路由直接完成报文转发，对报文转发性能要求较高的场景使用。

3. UDP：使用普通的UDP报文封装完成隧道转发,效率低下，不推荐。

2. Flannel容器的跨主机通信通过程

 

flannel 的 配置信息保存在etcd 中的，查看。

• /opt/etcd/etcdctl ls /coreos.com/network
  /coreos.com/network/config
  /coreos.com/network/subnets
  [root@hdss7-21 ~]#  /opt/etcd/etcdctl get /coreos.com/network/config
  {"Network": "172.7.0.0/16", "Backend": {"Type": "VxLAN","Directrouting": true}}

当需要与其他主机上的容器进行通信时，查找etcd数据库，找到目的容器的子网所对应的outip（目的宿主机的IP）；
将原始数据包封装在VXLAN或UDP数据包中，IP层以outip为目的IP进行封装；
由于目的IP是宿主机IP，因此路由是可达的。
VXLAN或UDP数据包到达目的宿主机解封装，解出原始数据包（原始包就是pod 之前访问的包），通过内核转发将数据包从宿主机转到本地容器。

3. 部署flannel 网络插件

在7.21 和7.22 上部署

#在7.21 上执行 
wget https://github.com/coreos/flannel/releases/download/v0.11.0/flannel-v0.11.0-linux-amd64.tar.gz
[root@hdss7-21 src]# mkdir /opt/flannel-v0.11.0
[root@hdss7-21 src]# tar xf flannel-v0.11.0-linux-amd64.tar.gz  -C /opt/flannel

[root@hdss7-21 conf]# cd /opt/flannel/cert/
[root@hdss7-21 cert]# scp hdss7-200:/opt/certs/ca.pem .
[root@hdss7-21 cert]# scp hdss7-200:/opt/certs/client.pem .
[root@hdss7-21 cert]# scp hdss7-200:/opt/certs/client-key.pem .

cd /opt/flannel
 vi subnet.env
FLANNEL_NETWORK=172.7.0.0/16
FLANNEL_SUBNET=172.7.21.1/24   #7.22 要改成 172.7.22.1/24
FLANNEL_MTU=1500
FLANNEL_IPMASQ=false

[root@hdss7-21 flannel]# vi flanneld.sh
#!/bin/sh
./flanneld   --public-ip=10.4.7.21       #7.22 改下ip
  --etcd-endpoints=https://10.4.7.12:2379,https://10.4.7.21:2379,https://10.4.7.22:2379   --etcd-keyfile=./cert/client-key.pem   --etcd-certfile=./cert/client.pem   --etcd-cafile=./cert/ca.pem   --iface=eth0   --subnet-file=./subnet.env   --healthz-port=2401

chmod +x flanneld.sh 
mkdir -p /data/logs/flanneld

vi /etc/supervisord.d/flannel.ini
[program:flanneld]
command=/opt/flannel/flanneld.sh                             ; the program (relative uses PATH, can take args)
numprocs=1                                                   ; number of processes copies to start (def 1)
directory=/opt/flannel                                       ; directory to cwd to before exec (def no cwd)
autostart=true                                               ; start at supervisord start (default: true)
autorestart=true                                             ; retstart at unexpected quit (default: true)
startsecs=30                                                 ; number of secs prog must stay running (def. 1)
startretries=3                                               ; max # of serial start failures (default 3)
exitcodes=0,2                                                ; ‘expected‘ exit codes for process (default 0,2)
stopsignal=QUIT                                              ; signal used to kill process (default TERM)
stopwaitsecs=10                                              ; max num secs to wait b4 SIGKILL (default 10)
user=root                                                    ; setuid to this UNIX account to run the program
redirect_stderr=true                                         ; redirect proc stderr to stdout (default false)
stdout_logfile=/data/logs/flanneld/flanneld.stdout.log       ; stderr log path, NONE for none; default AUTO
stdout_logfile_maxbytes=64MB                                 ; max # logfile bytes b4 rotation (default 50MB)
stdout_logfile_backups=4                                     ; # of stdout logfile backups (default 10)
stdout_capture_maxbytes=1MB                                  ; number of bytes in ‘capturemode‘ (default 0)
stdout_events_enabled=false                                  ; emit events on stdout writes (default false)

4. flannel vxlan 模型配置和相关信息查看

在10.4.7.21 和22 上配置 vlxan 模式。

/opt/etcd/etcdctl set /coreos.com/network/config ‘{"Network": "172.7.0.0/16", "Backend": {"Type": "VxLAN"}}‘    # 设置行vxlan 模型

#查看etcd 中保存的信息
/opt/etcd/etcdctl ls /coreos.com/network
/coreos.com/network/config
/coreos.com/network/subnets
[root@hdss7-21 ~]#  /opt/etcd/etcdctl get /coreos.com/network/config
{"Network": "172.7.0.0/16", "Backend": {"Type": "VxLAN"}}

/opt/etcd/etcdctl ls /coreos.com/network/subnets
/coreos.com/network/subnets/172.7.21.0-24
/coreos.com/network/subnets/172.7.22.0-24


#会发现宿主机上多了flannel.1 的接口。 这个flannel.1是一个vtep二层设备
ifconfig flannel.1
flannel.1: flags=4163<UP,BROADCAST,RUNNING,MULTICAST>  mtu 1450
        inet 172.7.21.0  netmask 255.255.255.255  broadcast 0.0.0.0
        inet6 fe80::5478:5aff:fe1a:7304  prefixlen 64  scopeid 0x20<link>
        ether 56:78:5a:1a:73:04  txqueuelen 0  (Ethernet)
        RX packets 25979967  bytes 17410555331 (16.2 GiB)
        RX errors 0  dropped 0  overruns 0  frame 0
        TX packets 19077703  bytes 8443811676 (7.8 GiB)
        TX errors 0  dropped 8 overruns 0  carrier 0  collisions 0

#查看路由
ip route ls 
default via 10.4.7.1 dev eth0 proto static metric 100 
10.4.7.0/24 dev eth0 proto kernel scope link src 10.4.7.21 metric 100 
172.7.21.0/24 dev docker0 proto kernel scope link src 172.7.21.1 
172.7.22.0/24 via 172.7.22.0 dev flannel.1 onlink 

会发现多了 172.7.22.0/24 via 172.7.22.0 dev flannel.1 onlink  路由，pod垮宿主机访问都通过这条路由了。

#查看 vxlan fdb(forwarding database) 
[root@hdss7-21 ~]# bridge fdb show dev flannel.1
ea:99:e1:f0:37:cf dst 10.4.7.22 self permanent    #这个mac 就是另外一台的宿主机的flannel.1 的mac ，这样就实现了arp 解析了。
56:eb:a4:dd:7d:a5 dst 10.4.7.22 self permanent
6a:2c:6a:1e:2b:2e dst 10.4.7.22 self permanent
9a:53:36:4c:ef:12 dst 10.4.7.22 self permanent
06:ea:23:b0:6f:b5 dst 10.4.7.22 self permanent

　　flannel 另外两种模式配置：

 

/opt/etcd/etcdctl set /coreos.com/network/config ‘{"Network": "172.7.0.0/16", "Backend": {"Type": "VxLAN","Directrouting": true}}‘    #配置vxlan 直接路由

VXLAN的Direct routing模式解释：
两个节点在同一网段时使用host-gw通信，如果不在同一网段中，即 当前pod所在节点与目标pod所在节点中间有路由器，就使用VXLAN这种方式，使用叠加网络。 结合了Host-gw和VXLAN。

./etcdctl set /coreos.com/network/config ‘{"Network": "172.7.0.0/16", "Backend": {"Type": "host-gw"}}‘    #这个是设置host-gw 的，这种模式node 上不会有flannel.1 的接口了，pod 的跨宿主及访问路由先到 docker0 ，再通过宿主机的eth0 出去。这种适合宿主机在同一个网段的情况下，效率比vlxan还高，因为没有了vxlan 封装了。

 ip route ls
default via 10.4.7.1 dev eth0 proto static metric 100 
10.4.7.0/24 dev eth0 proto kernel scope link src 10.4.7.22 metric 100 
172.7.21.0/24 via 10.4.7.21 dev eth0 
172.7.22.0/24 dev docker0 proto kernel scope link src 172.7.22.1 

　　

5. 宿主机iptables 优化--非常重要

通过上面配置了 vxan  模式实现了跨宿主访问，但是看日志发下对方看到的flannel.1 的ip！起两台nginx pod，然后curl 

kubectl get pod -o wide 
NAME                                READY   STATUS              RESTARTS   AGE     IP            NODE                NOMINATED NODE   READINESS GATES
nginx-deployment-7bfb85948d-8d4wd   1/1     Running             0          3d19h   172.7.21.15   hdss7-21.host.com   <none>           <none>
nginx-deployment-7bfb85948d-xg4bt   1/1     Running             1          3d19h   172.7.22.10   hdss7-22.host.com   <none>           <none>


 kubectl logs -f nginx-deployment-7bfb85948d-8d4wd   #这个是21 上pod ，看到的却不是172.7.22.10 的ip
172.7.22.0 - - [01/Jul/2020:16:45:16 +0000] "GET / HTTP/1.1" 200 612 "-" "curl/7.64.0" "-"

　　

修改iptables 规则----两台宿主机都要改！

上面情况是由于：
A POSTROUTING -s 172.7.22.0/24  ! -o docker0 -j MASQUERADE   这条规则导致的！
这条规则意思是  172.7.22.0/24  不是 docker0 就转换了。
因为pod 出去是通过flannel.1 接口出了！ 所以有了上面的规则后pod 的ip 就被转成flannel.1 的ip 了！
改成：  -A POSTROUTING -s 172.7.22.0/24 ! -d 172.7.0.0/16 ! -o docker0 -j MASQUERADE 

 172.7.0.0/16 是k8s 集群的ip，意思是访问k8s 集群外部的ip 才做nat，这样既保证了pod 可以出外网，也保证了集群内部访问pod ip 不会被转换！ 

改完后再看访问日志：

172.7.22.10 - - [02/Jul/2020:19:19:58 +0000] "GET / HTTP/1.1" 200 612 "-" "curl/7.64.0" "-"
172.7.22.10 - - [02/Jul/2020:19:20:00 +0000] "GET / HTTP/1.1" 200 612 "-" "curl/7.64.0" "-"

可以看到pod 真是IP 了!