CUDA：每个多处理器的线程数和每个块的线程数的区别是啥？ [复制]

Posted 2023-04-15

【中文标题】CUDA：每个多处理器的线程数和每个块的线程数的区别是啥？ [复制]

【英文标题】：CUDA: What is the threads per multiprocessor and threads per block distinction? [duplicate]CUDA：每个多处理器的线程数和每个块的线程数的区别是什么？ [复制]

【发布时间】：2013-07-22 20:58:21

【问题描述】：

我们有一个安装了两个 Nvidia Quadro FX 5800 卡的工作站。运行 deviceQuery CUDA 示例显示每个多处理器 (SM) 的最大线程数为 1024，而每个块的最大线程数为 512。

鉴于每个 SM 一次只能执行一个块，为什么最大线程/处理器是最大线程/块的两倍？我们如何利用每个 SM 的其他 512 个线程？

Device 1: "Quadro FX 5800"
  CUDA Driver Version / Runtime Version          5.0 / 5.0
  CUDA Capability Major/Minor version number:    1.3
  Total amount of global memory:                 4096 MBytes (4294770688 bytes)
  (30) Multiprocessors x (  8) CUDA Cores/MP:    240 CUDA Cores
  GPU Clock rate:                                1296 MHz (1.30 GHz)
  Memory Clock rate:                             800 Mhz
  Memory Bus Width:                              512-bit
  Max Texture Dimension Size (x,y,z)             1D=(8192), 2D=(65536,32768), 3D=(2048,2048,2048)
  Max Layered Texture Size (dim) x layers        1D=(8192) x 512, 2D=(8192,8192) x 512
  Total amount of constant memory:               65536 bytes
  Total amount of shared memory per block:       16384 bytes
  Total number of registers available per block: 16384
  Warp size:                                     32
  Maximum number of threads per multiprocessor:  1024
  Maximum number of threads per block:           512
  Maximum sizes of each dimension of a block:    512 x 512 x 64
  Maximum sizes of each dimension of a grid:     65535 x 65535 x 1
  Maximum memory pitch:                          2147483647 bytes
  Texture alignment:                             256 bytes
  Concurrent copy and kernel execution:          Yes with 1 copy engine(s)
  Run time limit on kernels:                     No
  Integrated GPU sharing Host Memory:            No
  Support host page-locked memory mapping:       Yes
  Alignment requirement for Surfaces:            Yes
  Device has ECC support:                        Disabled
  Device supports Unified Addressing (UVA):      No
  Device PCI Bus ID / PCI location ID:           4 / 0
  Compute Mode:
     < Default (multiple host threads can use ::cudaSetDevice() with device simultaneously) >

干杯， 詹姆士。

【问题讨论】：

“鉴于每个 SM 一次只能执行一个块”的说法不正确。把它拿走，它就很有意义了。这已经被问过一百万次了。一旦我找到一个，我会投票决定将此作为重复。

【参考方案1】：

鉴于每个 SM 一次只能执行一个块，

这种说法根本上是错误的。除非资源冲突，并假设内核（即网格）中有足够的线程块，否则 SM 通常会分配有多个线程块。

执行的基本单位是warp。一个 warp 由 32 个线程组成，由一个 SM 在一个指令周期一个指令周期的基础上以锁步方式一起执行。

因此，即使在单个线程块中，一个 SM 通常也会有多个“正在运行”的经线。这对于让机器隐藏延迟的良好性能至关重要。

从同一个线程块中选择warp来执行，或者从不同线程块中选择warp在概念上没有区别。 SM 可以有多个驻留在其上的线程块（即，将诸如寄存器和共享内存等资源分配给每个驻留线程块），warp 调度程序将从所有驻留线程块中的所有 warp 中进行选择，以选择下一个 warp 执行任何给定的指令周期。

因此，SM 可以“驻留”更多线程，因为它可以支持多个块，即使该块最大配置了线程（在本例中为 512）。我们通过驻留多个线程块来利用超过线程块限制。

您可能还想研究 GPU 程序中占用的概念。

【讨论】：

啊，我错了！感谢您回答罗伯特的问题。