CNI bridge 插件实现代码分析

Posted Monster-Z

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了CNI bridge 插件实现代码分析相关的知识,希望对你有一定的参考价值。

对于每个CNI 插件在执行函数cmdAdd之前的操作是完全一样的,即从环境变量和标准输入内读取配置。这在http://www.cnblogs.com/YaoDD/p/6410725.html这篇博文里面已经有完整的叙述了。

接下来就直接从CmdAdd函数开始分析CNI bridge插件的执行过程。

skel.CmdArgs数据结构如下所示

// CmdArgs captures all the arguments passed in to the plugin

// via both env vars and stdin

type CmdArgs struct {
  ContainerID    string
  Netns       string
  IfName       string
  Args        string
  Path        string
  StdinData     []byte
}

  

// cni/plugins/main/bridge/bridge.go

1、func cmdAdd(args *skel.CmdArgs) error

1、调用n, cniVersion, err := loadNetConf(args.StdinData)中加载网络配置

2、调用br, brInterface, err := setupBridge(n),创建网桥,如果需要的话

3、调用netns, err := ns.GetNS(args.Netns)解析出net ns

4、调用hostInterface, containerInterface, err := setupVeth(netns, br, args.IfName, n.MTU, n.HairpinMode)创建veth pair

5、调用r, err := ipam.ExecAdd(n.IPAM.Type, args.StdinData)运行IPAM插件,并获取结果

6、调用result, err := current.NewResultFromResult(r),设置result.Interfaces = []*current.Interface{brInterface, hostInterface, containerInterface}

7、调用gwsV4, gwsV6, err := calcGateways(result, n) ---> 获取IPv4,IPv6的网关信息

8、调用netns.Do(),首先调用disableIPV6DAD(args.IfName),防止bridge的hairpin mode启动,导致DAD失败

再调用ipam.ConfigureIface(args.IfName, result)

如果result.IPs[0].Address.IP.To4()不为nil,则调用ip.SetHWAddrByIP(args.IfName, result.IPs[0].Address.IP, nil) ---> 重新设置MAC地址,使其与IP地址关联

最后,因为veth设备的MAC地址可能改变,因此调用link, err := netlink.LinkByName(args.IfName)以及containerInterface.Mac = link.Attrs().HardwareAddr.String()更新MAC地址。

9、n.IsGW为真,则进行一系列设置,其实就是对网桥进行配置,使其作为默认网关

  1. 先遍历gws= gwsV4和gwsV6,再遍历gw in range gws,
  2. 如果gw.IP.To4()不为nil,且firstV4Addr为nil,则firstV4Addr = gw.IP,之后再调用err  = ensureBridgeAddr(br, gws.family, &gw, n.ForceAddress)设置网桥地址
  3. 最后,如果gws.gws不为nil,则调用enableIPForward(gws.family)

11、若n.IPMasq为真,首先调用chain := utils.FormatChainName(n.Name, args.ContainerID)   ---> 该函数只是生成一个用于iptables的chain名

comment := utils.FormatComment(n.Name, args.ContainerID) ---> 该函数只是生成一个注释字符串,用于标识相应的rule

最后,遍历for ips in range result.IPs,并调用ip.SetupIPMasq(ip.Network(&ipc.Address), chain, comment)

12、再调用br, err = bridgeByName(n.BrName)再对它的MAC地址进行设置,因为在第一个veth设备加入或者它被设置了IP地址之后,它的MAC地址都可能发生变化

13、设置result.DNS = n.DNS

14、最后return PrintResult(result, cniVersion)

 

NetConf的数据结构如下所示

type NetConf struct {

  types.NetConf

  BrName      string  `json:"bridge"`
  IsGW       bool   `json:"isGateway"`
  IsDefaultGW  bool   `json:"isDefaultGateway"`
  ForceAddress  bool   `json:"forceAddress"`
  IPMasq      bool   `json:"ipMasq"`
  MTU        int    `json:"mtu"`
  HairpinMode  bool   `json:"hairpinMode"`
  PromiscMode  bool   `json:"promiscMode"` }

  


// cni/plugins/main/bridge/bridge.go

2、func loadNetConf(bytes []byte) (*NetConf, string, error)

该函数将NetConf的BrName设置为defaultBrName = "cni0",之后再将bytes中的内容unmarshal到NetConf中

 

// cni/plugins/main/bridge/bridge.go

3、func setupBridge(n *NetConf) (*netlink.Bridge, *current.Interface, error)

1、先调用br, err := ensureBridge(n.BrName, n.MTU, n.PromiscMode)  // create bridge if necessary

2、返回return br, &current.Interface{Name: br.Attrs().Name, Mac: br.Attrs().HardwareAddr.String()}

 

current.Interface结构如下所示:

type Interface struct {
  Name    string  `json:"name"`
  Mac     string  `json:"mac,omitempty"`
  Sandbox   string  `json:"sandbox, omitempty"`
} 

  

 

// cni/plugins/main/bridge/bridge.go

4、func ensureBridge(brName string, mtu int, promiscMode bool) (*netlink.Bridge, error)

1、构造br := &netlink.Bridge{......}

2、调用err := netlink.LinkAdd(br),如果err不为nil且err不为syscall.EEXIST则报错

3、如果promiscMode为true,则调用netlink.SetPromiscOn(br)设置网桥为混杂模式

// 获取网桥的配置,如果网桥已经存在了,那么只要确定该网桥的配置和所需的配置相同即可

3、调动br, err := bridgeByName(brName)  -->l, err := netlink.LinkByName(name)找到设备,再反向断言br, ok := l.(*netlink.Bridge)

4、调用netlink.LinkSetUp(br)启动网桥

5、最后return br, nil

 

// cni/plugins/main/bridge/bridge.go

5、func setupVeth(netns ns.NetNS, br *netlink.Bridge, ifName string, mtu int, hairpinMode bool) (*current.Interface, *current.Interface, error)

1、创建变量contIface和hostIface,两者类型都为&current.Interface{}

2、首先在container中,即netns中创建veth pair,并且将host端移动到host netns

调用netns.Do(),在Do中调用hostVeth, containerVeth, err := ip.SetupVeth(ifName, mtu, hostNS),之后用containerVeth和netns填充contIface,再用hostVeth.Name填充hostIface.Name

3、随着网卡再ns间的移动,它的index也相应改变了,因此先调用hostVeth, err := netlink.LinkByName(hostIface.Name)在host netns中找到veth end

4、再通过hostIface.Mac = hostVeth.Attrs().HardwareAddr.String()获取host端veth的MAC地址

5、接着调用netlink.LinkSetMaster(hostVeth, br)将veth连接至网桥

6、最后,调用netlink.LinkSetHairpin(hostVeth, hairpinMode)设置hairpinmode

 

// plugins/main/bridge/bridge.go

6、func calcGateways(result *current.Result, n *NetConf)  (*gwInfo, *gwInfo, error)

// 该函数处理IPAM plugin的结果,对于各个IP family,计算一系列的网关地址,并且如果需要的话,添加默认路由

1、首先创建gwsV4和gwsV6两个变量,两者的类型都为&gwInfo{}

2、遍历ipc in range result.IPs,创建变量defaultNet := &net.IPNet{},var gws *gwInfo

当ipc是IPv4时,设置gws = gwsV4,gws.family = netlink.FAMILY_V4,defaultNet.IP = net.IPv4Zero,对于IPv6的操作类似

3、设置defaultNet.Mask = net.IPMask(defaultNet.IP)

4、设置ipc.Interface = current.Int(2) ---> 所有的IP地址都指向容器的网卡

5、如果ipc.Gateway为nil并且n.IsGW为true,则调用ipc.Gateway = calcGatewayIP(&ipc.Address) ---> 先对IP进行掩码操作,再加一,得到网关地址

6、如果n.IsDefaultGW为true且gws.defaultRouteFound为false,则使用当前的网关地址添加默认路由 ---> 首先遍历路由,查看是否有默认路由,否则添加

7、若n.IsGW为true,则创建gw := net.IPNet{IP: ipc.Gateway, Mask: ipc.Address.Mask},再调用gws.gws  = append(gws.gws, gw)进行网关的添加

8、最后,return gwsV4,gwsV6, nil

 

IPConfig结构如下所示:

type IPConfig struct {
  Version     string
  // Index into Result structs Interfaces list
  Interface    *index
  Address     net.IPNet
  Gateway     net.IP

}

  

 

gwInfo的结构如下所示:

type gwInfo struct {
  gws           []net.IPNet
  family          int
  defaultRouteFound   bool
}

  

 // plugins/pkg/ipam/ipam.go

7、func ConfigureIface(ifName string, res *current.Result) error

1、首先调用link, err := netlink.LinkByName(ifName)和netlink.LinkSetUp(link)查找并启动网卡

2、遍历ipc in range res.IPs,进行一系列的检测,包括ipc.Interface不能为nil等等

3、构建addr := &netlink.Addr{...}并通过netlink.AddrAdd(link, addr)给网卡添加地址

4、如果ipc.Gateway().To4()不为nil,则设置v4gw = ipc.Gateway,否则,v6gw = ipc.Gateway

5、调用ip.SettleAddresses(ifName, 10)

6、遍历for r in range res.Routes,设置gw := r.GW,如果gw为nil,且为IPV4的路由,则gw = v4gw,否则gw = v6gw

7、最后,调用ip.AddRoute(&r.Dst, gw, link)添加路由,并且重复的路由不再添加

 

// plugins/main/bridge/bridge.go

8、func ensureBridgeAddr(br *netlink.Bridge, family int, ipn *net.IPNet, forceAddress bool) error

1、调用addrs, err := netlink.AddrList(br, family)获取网桥上的IP地址链

2、调用ipnStr := ipn.String()

3、遍历for a in range addrs,如果a.IPNet.String() == ipnStr表示地址已存在,则直接返回

4、在网桥上允许存在多个IPV6地址,如果它们的子网不重合的话。而对于IPv4地址或者子网有重合的IPv6地址,只有forceAddress为true的时候,才能进行重新配置

5、设置addr := &netlink.Addr{...},调用netlink.AddrAdd(br, addr)添加IP地址到网卡

 

// plugins/pkg/ip/ipmasq.go

9、func SetupIPMasq(ipn *net.IPNet, chain string, comment string)  error

1、首先根据ipn的IP类型设置multicastNet,若为IPv4则设置为multicast = "244.0.0.0/24"

2、如果对应的nat用户chain不存在,则创建之

3、接受所有发往该network的网络包,ipt.AppendUnique("nat", chain, "-d", ipn.String(), "-j", "ACCEPT", ....)

4、不要对多播包进行masquerade,ipt.AppendUnique("nat", chain, "!", "-d", multicastNet, "-j", "MASQUERADE", ....)

5、最后调用return ipt.AppendUnique("nat", "POSTROUTING", "-s", ipn.String(), "-j", chain, ...)将流量导入chain中

 

// plugins/main/bridge/bridge.go

10、func cmdDel(args *skel.CmdArgs) error

1、首先调用n, _, err := loadNetConf(args.StdinData)加载配置

2、调用ipam.ExecDel(n.IPAM.Type, args.StdinData)删除从ipam中删除ip

3、清除netns,因为Delete可以被调用多次,因此,如果设备已经被移除,不要报错,如果设备已经不存在了,就不要再清理IP masq了
调用ns.WithNetNSPath(...){},在其中调用ipn, err = ip.DelLinkByNameAddr(args.IfName, netlink.FAMILY_ALL)

4、如果ipn不为nil,且n.IPMasq为true,则依次调用chain := utils.FormatChainName(n.Name, args.ContainerID)和comment := utils.FormatComment(n.Name, args.ContainerID)

最后调用ip.TeardownIPMasq(ipn, chain, comment)删除对应的ip masq

 

  

以上是关于CNI bridge 插件实现代码分析的主要内容,如果未能解决你的问题,请参考以下文章

CNI portmap插件实现源码分析

kubelet源码分析: CNI 插件处理流程

链式CNI插件与portmap端口映射

CNI IPAM插件分析 --- 以hostlocal为示例

非全研究生计算机网络-k8s网络插件(CNI)性能分析

非全研究生计算机网络-k8s网络插件(CNI)性能分析