CNI bridge 插件实现代码分析

Posted 2020-08-31 Monster-Z

对于每个CNI 插件在执行函数cmdAdd之前的操作是完全一样的，即从环境变量和标准输入内读取配置。这在http://www.cnblogs.com/YaoDD/p/6410725.html这篇博文里面已经有完整的叙述了。

接下来就直接从CmdAdd函数开始分析CNI bridge插件的执行过程。

skel.CmdArgs数据结构如下所示

// CmdArgs captures all the arguments passed in to the plugin

// via both env vars and stdin

type CmdArgs struct {
　　ContainerID　　　 string
　　Netns　　　　　　　string
　　IfName　　　　　　 string
　　Args　　　　　　　　string
　　Path　　　　　　　　string
　　StdinData　　　　　[]byte
}

　　

// cni/plugins/main/bridge/bridge.go

1、func cmdAdd(args *skel.CmdArgs) error

1、调用n, cniVersion, err := loadNetConf(args.StdinData)中加载网络配置

2、调用br, brInterface, err := setupBridge(n)，创建网桥，如果需要的话

3、调用netns, err := ns.GetNS(args.Netns)解析出net ns

4、调用hostInterface, containerInterface, err := setupVeth(netns, br, args.IfName, n.MTU, n.HairpinMode)创建veth pair

5、调用r, err := ipam.ExecAdd(n.IPAM.Type, args.StdinData)运行IPAM插件，并获取结果

6、调用result, err := current.NewResultFromResult(r)，设置result.Interfaces = []*current.Interface{brInterface, hostInterface, containerInterface}

7、调用gwsV4, gwsV6, err := calcGateways(result, n) ---> 获取IPv4，IPv6的网关信息

8、调用netns.Do()，首先调用disableIPV6DAD(args.IfName)，防止bridge的hairpin mode启动，导致DAD失败

再调用ipam.ConfigureIface(args.IfName, result)

如果result.IPs[0].Address.IP.To4()不为nil，则调用ip.SetHWAddrByIP(args.IfName, result.IPs[0].Address.IP, nil) ---> 重新设置MAC地址，使其与IP地址关联

最后，因为veth设备的MAC地址可能改变，因此调用link, err := netlink.LinkByName(args.IfName)以及containerInterface.Mac = link.Attrs().HardwareAddr.String()更新MAC地址。

9、n.IsGW为真，则进行一系列设置，其实就是对网桥进行配置，使其作为默认网关

1. 先遍历gws= gwsV4和gwsV6，再遍历gw in range gws,
2. 如果gw.IP.To4()不为nil，且firstV4Addr为nil，则firstV4Addr = gw.IP，之后再调用err  = ensureBridgeAddr(br, gws.family, &gw, n.ForceAddress)设置网桥地址
3. 最后，如果gws.gws不为nil，则调用enableIPForward(gws.family)

11、若n.IPMasq为真，首先调用chain := utils.FormatChainName(n.Name, args.ContainerID)   ---> 该函数只是生成一个用于iptables的chain名

comment := utils.FormatComment(n.Name, args.ContainerID) ---> 该函数只是生成一个注释字符串，用于标识相应的rule

最后，遍历for ips in range result.IPs，并调用ip.SetupIPMasq(ip.Network(&ipc.Address), chain, comment)

12、再调用br, err = bridgeByName(n.BrName)再对它的MAC地址进行设置，因为在第一个veth设备加入或者它被设置了IP地址之后，它的MAC地址都可能发生变化

13、设置result.DNS = n.DNS

14、最后return PrintResult(result, cniVersion)

 

NetConf的数据结构如下所示

type NetConf struct {

　　types.NetConf

　　BrName　　　 　 string　　`json:"bridge"`
　　IsGW　　　　　  bool　　　`json:"isGateway"`
　　IsDefaultGW　　bool　　　`json:"isDefaultGateway"`
　　ForceAddress　 bool　　　`json:"forceAddress"`
　　IPMasq　　　　  bool　　　`json:"ipMasq"`
　　MTU　　　　　   int　　　　`json:"mtu"`
　　HairpinMode　　bool　　　`json:"hairpinMode"`
　　PromiscMode　　bool　　　`json:"promiscMode"`
}

　　

// cni/plugins/main/bridge/bridge.go

2、func loadNetConf(bytes []byte) (*NetConf, string, error)

该函数将NetConf的BrName设置为defaultBrName = "cni0"，之后再将bytes中的内容unmarshal到NetConf中

 

// cni/plugins/main/bridge/bridge.go

3、func setupBridge(n *NetConf) (*netlink.Bridge, *current.Interface, error)

１、先调用br, err := ensureBridge(n.BrName, n.MTU, n.PromiscMode)  // create bridge if necessary

２、返回return br, &current.Interface{Name: br.Attrs().Name, Mac: br.Attrs().HardwareAddr.String()}

 

current.Interface结构如下所示：

type Interface struct {
　　Name　　　　string　　`json:"name"`
　　Mac　　　　　string　　`json:"mac,omitempty"`
　　Sandbox　　　string　　`json:"sandbox, omitempty"`
} 

　　

 

// cni/plugins/main/bridge/bridge.go

4、func ensureBridge(brName string, mtu int, promiscMode bool) (*netlink.Bridge, error)

1、构造br := &netlink.Bridge{......}

2、调用err := netlink.LinkAdd(br)，如果err不为nil且err不为syscall.EEXIST则报错

3、如果promiscMode为true，则调用netlink.SetPromiscOn(br)设置网桥为混杂模式

// 获取网桥的配置，如果网桥已经存在了，那么只要确定该网桥的配置和所需的配置相同即可

3、调动br, err := bridgeByName(brName)  -->l, err := netlink.LinkByName(name)找到设备，再反向断言br, ok := l.(*netlink.Bridge)

4、调用netlink.LinkSetUp(br)启动网桥

5、最后return br, nil

 

// cni/plugins/main/bridge/bridge.go

5、func setupVeth(netns ns.NetNS, br *netlink.Bridge, ifName string, mtu int, hairpinMode bool) (*current.Interface, *current.Interface, error)

１、创建变量contIface和hostIface，两者类型都为&current.Interface{}

２、首先在container中，即netns中创建veth pair，并且将host端移动到host netns

调用netns.Do()，在Do中调用hostVeth, containerVeth, err := ip.SetupVeth(ifName, mtu, hostNS)，之后用containerVeth和netns填充contIface，再用hostVeth.Name填充hostIface.Name

３、随着网卡再ns间的移动，它的index也相应改变了，因此先调用hostVeth, err := netlink.LinkByName(hostIface.Name)在host netns中找到veth end

４、再通过hostIface.Mac = hostVeth.Attrs().HardwareAddr.String()获取host端veth的MAC地址

５、接着调用netlink.LinkSetMaster(hostVeth, br)将veth连接至网桥

６、最后，调用netlink.LinkSetHairpin(hostVeth, hairpinMode)设置hairpinmode

 

// plugins/main/bridge/bridge.go

6、func calcGateways(result *current.Result, n *NetConf)  (*gwInfo, *gwInfo, error)

// 该函数处理IPAM plugin的结果，对于各个IP family，计算一系列的网关地址，并且如果需要的话，添加默认路由

1、首先创建gwsV4和gwsV6两个变量，两者的类型都为&gwInfo{}

2、遍历ipc in range result.IPs，创建变量defaultNet := &net.IPNet{}，var gws *gwInfo

当ipc是IPv4时，设置gws = gwsV4，gws.family = netlink.FAMILY_V4，defaultNet.IP = net.IPv4Zero，对于IPv6的操作类似

3、设置defaultNet.Mask = net.IPMask(defaultNet.IP)

4、设置ipc.Interface = current.Int(2)　--->　所有的IP地址都指向容器的网卡

5、如果ipc.Gateway为nil并且n.IsGW为true，则调用ipc.Gateway = calcGatewayIP(&ipc.Address) ---> 先对IP进行掩码操作，再加一，得到网关地址

6、如果n.IsDefaultGW为true且gws.defaultRouteFound为false，则使用当前的网关地址添加默认路由 ---> 首先遍历路由，查看是否有默认路由，否则添加

7、若n.IsGW为true，则创建gw := net.IPNet{IP: ipc.Gateway, Mask: ipc.Address.Mask}，再调用gws.gws  = append(gws.gws, gw)进行网关的添加

8、最后，return gwsV4，gwsV6, nil

 

IPConfig结构如下所示：

type IPConfig struct {
　　Version　　　　　string
　　// Index into Result structs Interfaces list
　　Interface　　　 *index
　　Address　　　　　net.IPNet
　　Gateway　　　　　net.IP

}

　　

 

gwInfo的结构如下所示：

type gwInfo struct {
　　gws　　　　　　　　　　　[]net.IPNet
　　family　　　 　　　　　　int
　　defaultRouteFound　 　bool
}

　　

 // plugins/pkg/ipam/ipam.go

7、func ConfigureIface(ifName string, res *current.Result) error

1、首先调用link, err := netlink.LinkByName(ifName)和netlink.LinkSetUp(link)查找并启动网卡

2、遍历ipc in range res.IPs，进行一系列的检测，包括ipc.Interface不能为nil等等

3、构建addr := &netlink.Addr{...}并通过netlink.AddrAdd(link, addr)给网卡添加地址

4、如果ipc.Gateway().To4()不为nil，则设置v4gw = ipc.Gateway，否则，v6gw = ipc.Gateway

5、调用ip.SettleAddresses(ifName, 10)

6、遍历for r in range res.Routes，设置gw := r.GW，如果gw为nil，且为IPV4的路由，则gw = v4gw，否则gw = v6gw

7、最后，调用ip.AddRoute(&r.Dst, gw, link)添加路由，并且重复的路由不再添加

 

// plugins/main/bridge/bridge.go

8、func ensureBridgeAddr(br *netlink.Bridge, family int, ipn *net.IPNet, forceAddress bool) error

1、调用addrs, err := netlink.AddrList(br, family)获取网桥上的IP地址链

2、调用ipnStr := ipn.String()

3、遍历for a in range addrs，如果a.IPNet.String() == ipnStr表示地址已存在，则直接返回

4、在网桥上允许存在多个IPV6地址，如果它们的子网不重合的话。而对于IPv4地址或者子网有重合的IPv6地址，只有forceAddress为true的时候，才能进行重新配置

5、设置addr := &netlink.Addr{...}，调用netlink.AddrAdd(br, addr)添加IP地址到网卡

 

// plugins/pkg/ip/ipmasq.go

9、func SetupIPMasq(ipn *net.IPNet, chain string, comment string)  error

1、首先根据ipn的IP类型设置multicastNet，若为IPv4则设置为multicast = "244.0.0.0/24"

2、如果对应的nat用户chain不存在，则创建之

3、接受所有发往该network的网络包，ipt.AppendUnique("nat", chain, "-d", ipn.String(), "-j", "ACCEPT", ....)

4、不要对多播包进行masquerade，ipt.AppendUnique("nat", chain, "!", "-d", multicastNet, "-j", "MASQUERADE", ....)

5、最后调用return ipt.AppendUnique("nat", "POSTROUTING", "-s", ipn.String(), "-j", chain, ...)将流量导入chain中

 

// plugins/main/bridge/bridge.go

10、func cmdDel(args *skel.CmdArgs) error

1、首先调用n, _, err := loadNetConf(args.StdinData)加载配置

2、调用ipam.ExecDel(n.IPAM.Type, args.StdinData)删除从ipam中删除ip

3、清除netns，因为Delete可以被调用多次，因此，如果设备已经被移除，不要报错，如果设备已经不存在了，就不要再清理IP masq了
调用ns.WithNetNSPath(...){}，在其中调用ipn, err = ip.DelLinkByNameAddr(args.IfName, netlink.FAMILY_ALL)

4、如果ipn不为nil，且n.IPMasq为true，则依次调用chain := utils.FormatChainName(n.Name, args.ContainerID)和comment := utils.FormatComment(n.Name, args.ContainerID)

最后调用ip.TeardownIPMasq(ipn, chain, comment)删除对应的ip masq