网卡多队列

Posted 2023-04-19

参考技术A CPU在运行的时候遇到的一些事件， 这些事件有可能是线性程序本身出现的，那也有可能是在CPU的外部 甚至是整个系统的外部出现的事件。那么 这时就要求CPU强行中止现在正在运行的程序。 并且从一个新的存储器区域启动相应的程序去处理这些事件。 还有一点也很重要，就是在处理完这些事件之后，CPU需要恢复到原来的程序继续运行。 那这些事件就被称为中断或者异常。

将CPU运行程序所引发的特殊的事件称为软件中断， 而把外部的这些输入输出设备产生的事件称为硬件中断。

X86系统采用中断机制协同处理CPU与其他设备工作。长久以来网卡的中断默认由cpu0处理，在大量小包的网络环境下可能出现cpu0负载高，而其他cpu空闲。后来出现网卡多队列技术解决这个问题。

当网卡收到数据包时会产生中断，通知内核有新数据包，然后内核调用中断处理程序进行响应，把数据包从网卡缓存拷贝到内存，因为网卡缓存大小有限，如果不及时拷出数据，后续数据包将会因为缓存溢出被丢弃，因此这一工作需要立即完成。剩下的处理和操作数据包的工作就会交给软中断。高负载的网卡是软中断产生的大户，很容易形成瓶颈。

可以通过显示/proc/interrupts来显示中断信息:

从图可以看到"124"、"125"分别为eth2-TxRx-0和eth2-TxRx-1的中断号。

如果有24个CPU的话，那么将会存在24个这样的中断号，从eth2-TxRx-0到eth2-TxRx-23。

每一个中断号表示一个网卡的工作队列，在有24个CPU的机器里，每个网卡需要存在24个网络队列。

通过将中断号绑定到多CPU并没有真正实现中断的分配。支持RSS的网卡，通过多队列技术，每个队列对应一个中断号，通过对每个中断的绑定，可以实现网卡中断在cpu多核上的分配。

中断亲和力是指将一个或多个中断源绑定到特定的 CPU 核心上运行。

/proc/irq/[irq_num]/smp_affinity_list ：该文件存放的是CPU列表（十进制）。注意，CPU核心个数用表示编号从0开始，如cpu0,cpu1等

根据上图所示，124号中断为网卡eth2的第一个网络队列的中断号。我们将它绑定到CPU0上。

echo 0 >/proc/irq/124/smp_affinity_list

根据上面信息可以从/proc/interrupts获取CPU中断号信息，来写脚本实现自动绑定。

使用top命令，然后输入 1 。

其中 0.0%si 表示当前的软中断(software interrupt)的使用率。

虚机网卡多队列提高网络I/O带宽QoS

参考技术A 网卡多队列是一种技术手段，可以解决网络I/O带宽QoS（Quality of Service）问题。网卡多队列驱动将各个队列通过中断绑定到不同的核上，从而解决网络I/O带宽升高时单核CPU的处理瓶颈，提升网络PPS和带宽性能。经测试，在相同的网络PPS和网络带宽的条件下，与1个队列相比，2个队列最多可提升性能达50%到100%，4个队列的性能提升更大。

1) ethtool -l eth0查看网卡是否支持多队列：

[root@localhost ~]# ethtool -l eth0

Channel parameters for eth0:

Pre-set maximums:

RX: 0

TX: 0

Other: 0

Combined: 2 # 表示最多支持设置2个队列

Current hardware settings:

RX: 0

TX: 0

Other: 0

Combined: 1 # 表示当前生效的是1个队列

2) 运行ethtool -L eth0 combined 2命令开启网卡的多队列功能。

[root@localhost ~]# ethtool -L  eth0  combined  2

3) 设置辅助网卡的多队列。

# 查看辅助网卡eth1支持多队列的情况

[root@localhost ~]# ethtool -l eth1

Channel parameters for eth1:

Pre-set maximums:

RX: 0

TX: 0

Other: 0

Combined: 4 # 表示最多支持设置4个队列

Current hardware settings:

RX: 0

TX: 0

Other: 0

Combined: 1 # 表示当前生效的是1个队列

4) 设置辅助网卡eth1使用4个队列

[root@localhost ~]# ethtool -L eth1 combined 4

要求内核版本大于3.0，配置方法如下：

glance image-update --property hw_vif_multiqueue_enabled=true $IMAGE_ID

队列长度固定为虚拟机的核数。

创建虚拟机查看网卡信息:

# ethtool -l eth0

Channel parameters for eth0:

Pre-set maximums:

RX:    0

TX:    0

Other:      0

Combined:  2

Current hardware settings:

RX:    0

TX:    0

Other:      0

Combined:  1

网卡信息表明支持的最大队列(Combined)为2，目前设置为1，可以通过ethtool工具修改配置：

ethtool -L eth0 combined 2

为了保证中断自动均衡到所有的CPU，建议开启irqbalance服务：

systemctl enable irqbalance

systemctl start irqbalance

https://help.aliyun.com/document_detail/52559.html