Nvidianvidia 高级特性MIG详细介绍

Posted 从善若水

tags:

篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了Nvidianvidia 高级特性MIG详细介绍相关的知识，希望对你有一定的参考价值。

博主未授权任何人或组织机构转载博主任何原创文章，感谢各位对原创的支持！
博主链接

本人就职于国际知名终端厂商，负责modem芯片研发。
在5G早期负责终端数据业务层、核心网相关的开发工作，目前牵头6G算力网络技术标准研究。


博客内容主要围绕：
       5G/6G协议讲解
       算力网络讲解（云计算，边缘计算，端计算）
       高级C语言讲解
       Rust语言讲解



nvidia 高级特性MIG详细介绍（一）

MIG:Multi-Instance GPU

       新的多实例GPU（MIG）功能允许GPU（从NVIDIA Ampere architecture开始）安全地划分为最多7个独立的GPU实例，用于CUDA应用程序，为多个用户提供独立的GPU资源，以实现最佳的GPU利用率。此功能对于工作负载未完全饱和的GPU来说特别有益，因此用户可能希望并行运行不同的工作负载以最大化利用率。

       使用MIG，每个实例的处理器都有独立和隔离的路径通过整个存储系统，芯片上的crossbar端口，L2 cache，内存控制器和DRAM地址总线都被唯一地分配给一个单独的实例。这确保了单个用户的工作负载可以在相同的L2缓存分配和DRAM带宽下，以可预测的吞吐量和延迟运行，即使其它任务正在抖动它们自己的缓存或饱和它们的DRAM接口。MIG能够对可用的GPU计算资源（包括流式多处理器，即SMs，以及复制引擎或解码器等GPU引擎）进行分区，从而为虚拟机、容器或进程等不同客户端提供定义好的故障隔离服务质量（QoS）。MIG允许多个GPU实例在单个物理NVIDIA Ampere GPU上并行运行。

       使用MIG，用户将能够像物理GPU一样查看和调度新的虚拟GPU实例上的作业。MIG支持Linux操作系统，支持使用Docker引擎的容器，支持Kubernetes和使用Red Hat虚拟化和VMware vSphere等管理程序的虚拟机。

一、MIG基础概念介绍

  • 流多处理器（SM，Streaming Multiprocessor）：流多处理器（SM）在GPU上执行计算指令；

  • GPU上下文：GPU上下文类似于CPU进程。它封装了在GPU上执行操作所需的所有资源，包括不同的地址空间、内存分配等。GPU上下文具有以下属性：

    • 错误隔离；
    • 独立的调度；
    • 不同的地址空间；

  • GPU引擎：GPU引擎在GPU上执行工作。最常用的引擎是执行计算指令的计算/图形引擎。其它引擎包括负责执行DMA复制的引擎（CE，copy engine）、负责视频解码的NVDEC、负责编码的NVENC等。每个引擎可以被独立调度，并为不同的GPU上下文执行工作；

  • GPU内存切片：GPU内存切片是GPU内存的最小部分，包括相应的内存控制器和缓存。一个GPU内存切片大约是GPU总内存资源的八分之一，包括容量和带宽；

  • GPU SM切片：GPU SM切片是GPU上SM的最小部分。在MIG模式下配置时，一个GPU SM片大约是GPU可用SM总数的七分之一；

  • GPU切片：GPU切片是由单个GPU内存切片和单个GPU SM切片组成的GPU的最小部分；

  • GPU实例：GPU实例（GI）是一个或多个GPU切片和GPU引擎（DMAs、NVDECs等）的组合。一个GPU实例中的任何东西总是共享所有GPU内存切片和其它GPU引擎，但它的SM切片可以进一步细分为计算实例（CI，Compute Instance）。GPU实例提供内存QoS。每个GPU切片包含专用的GPU内存资源，限制可用容量和带宽，并提供内存QoS。每个GPU内存切片获得GPU总内存资源的1/8，每个GPU SM切片获得SMs总数的1/7；

  • 计算实例：一个GPU实例可以细分为多个计算实例。计算实例（CI）是父GPU实例的SMs切片和其它GPU引擎（DMAs、NVDECs等）的一个子集。CIs共享内存和引擎。

GPU资源逻辑图：

CI示意图：


二、举个例子

下面是一个A100（40GB）的GPU，可以认为有8x5GB的内存片和7个SM片，如下图所示：

2.1 GPU实例举例

       如上所述，创建一个GPU实例（GI）需要将一定数量的内存片和一定数量的计算片组合在一起。在下面的图表中，5GB内存切片与1个计算切片组合在一起，以创建一个1g.5gb GI配置文件：


       类似地，4x5GB内存切片可以与4x1计算切片组合以创建4g.20gb GI配置文件：

2.2 计算实例（CI）举例

       GPU实例的计算切片可以进一步细分为多个计算实例(compute Instance, CI)， CI共享父GI的引擎和内存，但每个CI都有专用的SM资源。使用上面提到的4g.20gb的例子，创建一个CI只使用第一个计算切片，如下所示：

       在本例中，可以通过选择任何计算片创建4个不同的CI。两个计算切片也可以组合在一起创建一个2c.4g.20gb的配置文件：


       在这个例子中，3个计算切片也可以组合起来创建一个3c.4g.20gb配置文件或全部4个CI可以组合起来创建一个4c.4g.20gb的配置文件。当所有4个计算片组合在一起时，该配置文件被简称为4g.20gb。


三、MIG设备命名规则

       默认情况下，MIG设备由单个GPU实例和单个计算实例组成。下表强调了一种命名约定，通过其GPU实例的计算切片数和以GB为单位的总内存（而不仅仅是其内存切片数）来引用MIG设备。当创建的CI会消耗整个GI的计算切片时，设备名称中会隐藏CI的大小。

注意：下表展示了一个A100-SXM4-40GB设备的配置文件名称。对于A100-SXM4-80GB，配置文件名称将根据内存比例而变化——例如，1g.10gb、2g.20gb、3g.40gb、4g.40gb、7g80gb。

Memory20gb10gb5gb
GPUInstance3g2g
Compute Instance3c2c1c
MIG Device3g.20gb2g.10gb1g.5gb
GPCGPCGPCGPCGPCGPC

       根据用户的工作负载，每个GI可以进一步细分为多个CI。下表突出显示了在这种情况下MIG设备的名称。所示示例是对一个3g.20gb设备的细分，使其成为一个具有不同计算实例切片数的子设备。

       GPU实例（GIs）和计算实例（CIs）在MIG的/proc文件系统中被枚举，相应的设备节点（mig-minor）会在/dev/nvidia-caps下创建。MIG通过在运行时向应用程序指定CUDA设备来支持运行CUDA应用程序。CUDA 11/R450和CUDA 12/R525只支持单个MIG实例的枚举。换句话说，无论创建了多少个MIG设备（或使容器可用），单个CUDA进程只能枚举一个MIG设备。

       CUDA应用程序将CI及其父GI视为单个CUDA设备。CUDA只能使用单个CI，如果有多个CI可见，将选择第一个可用的CI。总而言之，有两个约束条件：

  1. CUDA只能枚举单个计算实例；
  2. 如果在任何其它GPU上枚举了任何计算实例，CUDA将不会枚举 non-MIG GPU；

请注意，这些限制可能会在未来的NVIDIA MIG驱动程序版本中改变

       CUDA_VISIBLE_DEVICES已被扩展以增加对MIG的支持。根据所使用的驱动程序版本，支持两种格式：

  1. 驱动版本 >= R470（470.42.01+），每个MIG设备被分配一个以MIG-<UUID>开始的GPU UUID;
  2. 驱动版本 < R470，通过指定CI和相应的父GI枚举每个MIG设备。格式为MIG-<GPU- uuid >/<GPU实例ID>/<计算实例ID>。

使用R470 NVIDIA数据中心驱动程序（470.42.01+），下面的示例显示了MIG设备如何在8-GPU系统中分配GPU uuid，每个GPU配置不同。

$ nvidia-smi -L        

GPU 0: A100-SXM4-40GB (UUID: GPU-5d5ba0d6-d33d-2b2c-524d-9e3d8d2b8a77)
  MIG 1g.5gb      Device  0: (UUID: MIG-c6d4f1ef-42e4-5de3-91c7-45d71c87eb3f)
  MIG 1g.5gb      Device  1: (UUID: MIG-cba663e8-9bed-5b25-b243-5985ef7c9beb)
  MIG 1g.5gb      Device  2: (UUID: MIG-1e099852-3624-56c0-8064-c5db1211e44f)
  MIG 1g.5gb      Device  3: (UUID: MIG-8243111b-d4c4-587a-a96d-da04583b36e2)
  MIG 1g.5gb      Device  4: (UUID: MIG-169f1837-b996-59aa-9ed5-b0a3f99e88a6)
  MIG 1g.5gb      Device  5: (UUID: MIG-d5d0152c-e3f0-552c-abee-ebc0195e9f1d)
  MIG 1g.5gb      Device  6: (UUID: MIG-7df6b45c-a92d-5e09-8540-a6b389968c31)
GPU 1: A100-SXM4-40GB (UUID: GPU-0aa11ebd-627f-af3f-1a0d-4e1fd92fd7b0)
  MIG 2g.10gb     Device  0: (UUID: MIG-0c757cd7-e942-5726-a0b8-0e8fb7067135)
  MIG 2g.10gb     Device  1: (UUID: MIG-703fb6ed-3fa0-5e48-8e65-1c5bdcfe2202)
  MIG 2g.10gb     Device  2: (UUID: MIG-532453fc-0faa-5c3c-9709-a3fc2e76083d)
GPU 2: A100-SXM4-40GB (UUID: GPU-08279800-1cbe-a71d-f3e6-8f67e15ae54a)
  MIG 3g.20gb     Device  0: (UUID: MIG-aa232436-d5a6-5e39-b527-16f9b223cc46)
  MIG 3g.20gb     Device  1: (UUID: MIG-3b12da37-7fa2-596c-8655-62dab88f0b64)
GPU 3: A100-SXM4-40GB (UUID: GPU-71086aca-c858-d1e0-aae1-275bed1008b9)
  MIG 7g.40gb     Device  0: (UUID: MIG-3e209540-03e2-5edb-8798-51d4967218c9)
GPU 4: A100-SXM4-40GB (UUID: GPU-74fa9fb7-ccf6-8234-e597-7af8ace9a8f5)
  MIG 1c.3g.20gb  Device  0: (UUID: MIG-79c62632-04cc-574b-af7b-cb2e307120d8)
  MIG 1c.3g.20gb  Device  1: (UUID: MIG-4b3cc0fd-6876-50d7-a8ba-184a86e2b958)
  MIG 1c.3g.20gb  Device  2: (UUID: MIG-194837c7-0476-5b56-9c45-16bddc82e1cf)
  MIG 1c.3g.20gb  Device  3: (UUID: MIG-291820db-96a4-5463-8e7b-444c2d2e3dfa)
  MIG 1c.3g.20gb  Device  4: (UUID: MIG-5a97e28a-7809-5e93-abae-c3818c5ea801)
  MIG 1c.3g.20gb  Device  5: (UUID: MIG-3dfd5705-b18a-5a7c-bcee-d03a0ccb7a96)
GPU 5: A100-SXM4-40GB (UUID: GPU-3301e6dd-d38f-0eb5-4665-6c9659f320ff)
  MIG 4g.20gb     Device  0: (UUID: MIG-6d96b9f9-960e-5057-b5da-b8a35dc63aa8)
GPU 6: A100-SXM4-40GB (UUID: GPU-bb40ed7d-cbbb-d92c-50ac-24803cda52c5)
  MIG 1c.7g.40gb  Device  0: (UUID: MIG-66dd01d7-8cdb-5a13-a45d-c6eb0ee11810)
  MIG 2c.7g.40gb  Device  1: (UUID: MIG-03c649cb-e6ae-5284-8e94-4b1cf767e06c)
  MIG 3c.7g.40gb  Device  2: (UUID: MIG-8abf68e0-2808-525e-9133-ba81701ed6d3)
GPU 7: A100-SXM4-40GB (UUID: GPU-95fac899-e21a-0e44-b0fc-e4e3bf106feb)
  MIG 4g.20gb     Device  0: (UUID: MIG-219c765c-e07f-5b85-9c04-4afe174d83dd)
  MIG 2g.10gb     Device  1: (UUID: MIG-25884364-137e-52cc-a7e4-ecf3061c3ae1)
  MIG 1g.5gb      Device  2: (UUID: MIG-83e71a6c-f0c3-5dfc-8577-6e8b17885e1f)

四、预配置的配置文件

       一个GI可以创建的切片数量不是任意的。NVIDIA驱动程序APIs提供了许多“GPU实例配置文件”，用户可以通过指定其中一个配置文件来创建GIs。在给定的GPU上，只要有足够的切片来满足请求，就可以通过这些配置文件来创建多个GIs。

       例如，下表展示了一个A100-SXM4-40GB设备的配置文件名称。对于A100-SXM4-80GB，配置文件名称将根据内存比例而变化——例如，1g.10gb、2g.20gb、3g.40gb、4g.40gb、7g80gb。

Profile NameFraction of MemoryFraction of SMsHardware UnitsL2 Cache SizeCopy EnginesNumber of Instances Available
MIG 1g.5gb1/81/70 NVDECs /0 JPEG /0 OFA1/817
MIG 1g.5gb+me1/81/71 NVDEC /1 JPEG /1 OFA1/811 (A single 1g profile can include media extensions)
MIG 1g.10gb1/81/71 NVDECs /0 JPEG /0 OFA1/814
MIG 2g.10gb2/82/71 NVDECs /0 JPEG /0 OFA2/823
MIG 3g.20gb4/83/72 NVDECs /0 JPEG /0 OFA4/832
MIG 4g.20gb4/84/72 NVDECs /0 JPEG /0 OFA4/841
MIG 7g.40gbFull7/75 NVDECs /1 JPEG /1 OFAFull71

下图显示了如何构建GPU实例的所有有效组合的图示。


       在这个图中，通过从左边的实例概要文件开始，并在您移动到右边时将它与其它实例概要文件相结合，可以构建一个有效的组合，这样就不会有两个概要文件在垂直方向上重叠。该规则的唯一例外是（4内存，4计算）和（4内存，3计算）配置文件的组合，目前不支持。但是，支持（4内存，3计算）和（4内存，3计算）的组合。有关A100和A30上所有支持的配置文件组合和放置的列表，请参阅支持配置文件部分。


       请注意，该图表示GPU实例在GPU上实例化后存在的物理布局。由于GPU实例是在不同的位置创建和销毁的，因此可能会发生碎片，并且一个GPU实例的物理位置将扮演一个角色，在这个角色中，其它GPU实例可以在它旁边实例化。


感谢大家的阅读，这里是从善若水的博客！

以上是关于Nvidianvidia 高级特性MIG详细介绍的主要内容，如果未能解决你的问题，请参考以下文章

Nvidianvidia 高级特性MIG详细介绍

MIG09-资讯推荐算法高级工程师-T3.1及以上-腾讯-深圳-30-60万

MIG09-商品推荐算法高级工程师-T3.1及以上+腾讯+深圳+30-60万

python之高级特性

SpringBoot 参数校验，高级特性，非常实用

RabbitMq高级特性之延迟队列 通俗易懂 超详细 内含案例