X7-2计算节点关于网卡的一点变化

Posted 2021-01-08 missyou-shiyh

官方文档记载了X7-2的计算节点网卡信息如下：

• 2 x InfiniBand 4X QDR (40 Gbps) ports (PCIe 3.0), both ports active
• 2 x 1 GbE/10 GbE Base-T Ethernet ports or 2 x 10GbE/25GbE Ethernet SFP28 Ports
• 2 x 10GbE/25GbE Ethernet SFP28 Ports
• 1 x 1GbE/10GbE Base-T ethernet port for Integrated Lights Out Manager (ILOM) for remote management

从这些信息来看，除了一个ILOM口，两个IB网口（来自于一块IB卡），还剩下4个网口，这4个网口，怎么看都感觉不够用呀。因为需要两个网口绑定作为业务网使用，另外两个绑定作为备份网或容灾网使用，那还有一个管理网怎么办？难道备份网或容灾网只允许使用单口，这感觉也不合适高可用性啊。

直接登陆计算节点查看网口情况：

[[email protected] rules.d]# ifconfig -a |grep -i link bond0 Link encap:Ethernet bondeth0 Link encap:Ethernet bondeth0:1 Link encap:Ethernet bondeth0:2 Link encap:Ethernet bondeth0:3 Link encap:Ethernet bondeth1 Link encap:Ethernet docker0 Link encap:Ethernet eth0 Link encap:Ethernet eth1 Link encap:Ethernet eth2 Link encap:Ethernet eth3 Link encap:Ethernet eth4 Link encap:Ethernet ib0 Link encap:InfiniBand ib0:1 Link encap:InfiniBand ib1 Link encap:InfiniBand ib1:1 Link encap:InfiniBand lo Link encap:Local Loopback [[email protected] rules.d]#

可以看出，系统上实际上有5个以太网络接口。

继续查看网口命名规则：

[[email protected] rules.d]# more 70-persistent-net.rules # IB Card SUBSYSTEM=="net", ACTION=="add", DRIVERS=="mlx4_core", BUS=="pci", ID=="0000:3b:00.0", ATTR{dev_id}=="0x0", KERNEL=="ib*", NAME="ib0" SUBSYSTEM=="net", ACTION=="add", DRIVERS=="mlx4_core", BUS=="pci", ID=="0000:3b:00.0", ATTR{dev_id}=="0x1", KERNEL=="ib*", NAME="ib1"   # Ethernet controller: Ethernet controller: Intel Corporation I210 Gigabit Network Connection (rev 03) SUBSYSTEM=="net", ACTION=="add", DRIVERS=="igb", BUS=="pci", ID=="0000:02:00.0", KERNEL=="eth*", NAME="eth0"   # Ethernet controller: Broadcom Corporation Device 16e2 SUBSYSTEM=="net", ACTION=="add", DRIVERS=="bnxt_en", BUS=="pci", ID=="0000:18:00.0", KERNEL=="eth*", NAME="eth1" SUBSYSTEM=="net", ACTION=="add", DRIVERS=="bnxt_en", BUS=="pci", ID=="0000:18:00.1", KERNEL=="eth*", NAME="eth2"   # Addon Ethernet controller: Broadcom Corporation Device 16d7 SUBSYSTEM=="net", ACTION=="add", DRIVERS=="bnxt_en", BUS=="pci", ID=="0000:af:00.0", KERNEL=="eth*", NAME="eth3" SUBSYSTEM=="net", ACTION=="add", DRIVERS=="bnxt_en", BUS=="pci", ID=="0000:af:00.1", KERNEL=="eth*", NAME="eth4"

可以看出，实际上主机上集成了一个网口，也即eth0，它用来当作管理网口。而其他的网口来自于外置的网卡，也即eth1和eth2来自于一块网卡，eth3和eth4来自于另外一块网卡。

这一点与X7之前的系列是完全不同的，在以前的型号中，主板上会集成四个网口，也即:eth0、eth1、eth2和eth3，其中eth0和eth1为同一个芯片组，eth2和eth3为另一个芯片组。