使用 CUDA 在 python 中展开一个可并行化的 for 循环

Posted 2023-04-15

【中文标题】使用 CUDA 在 python 中展开一个可并行化的 for 循环

【英文标题】：Unrolling a trivially parallelizable for loop in python with CUDA

【发布时间】：2014-05-16 06:17:17

【问题描述】：

我在 python 中有一个 for 循环，我想将它展开到 GPU 上。我想必须有一个简单的解决方案，但我还没有找到。

我们的函数循环遍历 numpy 数组中的元素，并进行一些数学运算，将结果存储在另一个 numpy 数组中。每次迭代都会向这个结果数组添加一些。我们代码的一个可能的大简化可能看起来像这样：

import numpy as np

a = np.arange(100)
out = np.array([0, 0])
for x in xrange(a.shape[0]):
  out[0] += a[x]
  out[1] += a[x]/2.0

如何在 Python 中展开这样的循环以在 GPU 上运行？

【问题讨论】：

你的问题是？

如何在 python 中将循环展开到 GPU 上。我应该使用哪些库以及调用哪些函数。

你查看pycuda的文档了吗？

【参考方案1】：

开始的地方是http://documen.tician.de/pycuda/例子有

import pycuda.autoinit
import pycuda.driver as drv
import numpy

from pycuda.compiler import SourceModule
mod = SourceModule("""
__global__ void multiply_them(float *dest, float *a, float *b)

  const int i = threadIdx.x;
  dest[i] = a[i] * b[i];

""")

multiply_them = mod.get_function("multiply_them")

a = numpy.random.randn(400).astype(numpy.float32)
b = numpy.random.randn(400).astype(numpy.float32)

dest = numpy.zeros_like(a)
multiply_them(
        drv.Out(dest), drv.In(a), drv.In(b),
        block=(400,1,1), grid=(1,1))

print dest-a*b

您将要并行化的代码部分放在 C 代码段中并从 python 调用它。

以您为例，您的数据大小需要远大于 100 才值得。您需要一些方法将数据分成块。如果您想添加 1,000,000 个数字，您可以将其分成 1000 个块。添加并行代码中的每个块。然后在python中添加结果。

对于这种并行化来说，添加东西并不是一项自然的任务。 GPU 倾向于为每个像素执行相同的任务。您有一个需要对多个像素进行操作的任务。

首先使用 cuda 可能会更好。一个相关的线程是。 Understanding CUDA grid dimensions, block dimensions and threads organization (simple explanation)