SR-IOV Study

Posted 2023-05-10

参考技术A [TOC]

I/O 虚拟化技术有三种：Device Emulation、PCI Pass-through 和 SR-IOV。这三种虚拟化技术在不同程度上实现了 I/O 设备的虚拟化功能。

该方式允许将宿主机中的物理 PCI 设备直接分配给虚拟机使用。KVM 支持虚拟机以独占方式访问这个宿主机的 PCI/PCI-E 设备。通过硬件支持的 VT-d 技术将设备分给虚拟机后，在虚拟机看来，设备是物理上连接在 PCI 或者 PCIe 总线上的，客户机对该设备的 I/O 交互操作和实际的物理设备操作完全一样，几乎不需要 KVM 的参与。运行在 VT-d 平台上的 QEMU/KVM 可以分配网卡、磁盘控制器、USB控制器等设备供虚拟机直接使用。

VT-d 的性能非常好，但是它的物理设备只能分配给一个虚拟机使用。为了实现多个虚拟机共享一个物理设备，并且达到直接分配的目的，PCI-SIG 组织发布了 SR-IOV （Single Root I/O Virtualization） 规范，它定义了一个标准化的机制用以原生地支持实现多个客户机共享一个设备。SR-IOV 广泛应用在网卡上。

SR-IOV 使得一个单一的功能单元（比如，一个以太网端口）能看起来像多个独立的物理设备。一个带有 SR-IOV 功能的物理设备能被配置为多个功能单元。SR-IOV 使用两种功能：

Hypervisor 能将一个或者多个 VF 分配给一个虚拟机。在某一时刻，一个 VF 只能被分配给一个虚拟机。

官方配置文档请参考： SR-IOV-Passthrough-For-Networking

在所有需要配置 SR-IOV 的计算节点上开启 Intel VT-d 和 SR-IOV 配置。
并且将以下参数添加到 /etc/default/grub 中的 GRUB_CMDLINE_LINUX 配置项中。

执行以下命令并重启计算节点。

支持的 vendor_id 可以通过以下命令在计算节点上查询。

SR-IOV Configuration Guide
SR-IOV-Passthrough-For-Networking
Redhat OpenStack SR-IOV Configure
SDN Fundamentails for NFV, Openstack and Containers
KVM Introduction: SR-IOV
PCI Passthrough of host network devices
OpenStack Networking
Attaching physical PCI devices to guests

SR-IOV

https://www.servethehome.com/the-broadwell-de-intel-xeon-d-1500-series-and-sr-iov/

https://software.intel.com/en-us/articles/using-sr-iov-to-share-an-ethernet-port-among-multiple-vms

https://software.intel.com/en-us/articles/configure-sr-iov-network-virtual-functions-in-linux-kvm