cuda GPU 编程之共享内存的使用

Posted cofludy

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了cuda GPU 编程之共享内存的使用相关的知识,希望对你有一定的参考价值。

  原理上来说,共享内存是GPU上可受用户控制的一级缓存。在一个SM中,存在着若干cuda core + DP(双精度计算单元) + SFU(特殊函数计算单元)+共享内存+常量内存+纹理内存。相对于全局内存,共享内存的方寸延迟较低,可以达到惊人的1.5TB/s。而全局内存大约只有150GB/s。(最新的NVLINK技术没有考虑在内)。因而共享内存的使用时性能提高的一个重要的因素。但是注意到,将数据拷贝到共享内存中也消耗了部分时间。因而,共享内存仅仅适合存在着数据的重复利用,全局的内存合并或者是线程之间有共享数据的时候,否则直接使用全局内存会更好一些。

   下面介绍两种使用共享内存的方法。

 1. 创建固定大小的共享内存。(在kernel函数内存定义)

__shared__ float a_in[34];

  注意这里的34必须在编译之前指定大小。可以使用宏定义的方式进行。下面的方式是一种错误的示范。

__shared__ float s_in[blockDim.x+2*RAD];

  

2. 动态申请共享内存数组,声明时需要加上 extern 前缀。

extern __shared__ float a[];

  并且,在调用内核函数的时候,需要在<<<>>>内加上第三个参数来指明所需分配的共享内存的字节大小。

const size_t smemSize=(TPB+ 2*RAD)*sizeof(float);
ddkernel<<<Grids, Blocks,smemSize>>>(paramenter);

  

分配好共享内存之后,就可以将全局内存拷贝到共享内存之中。基本的方案是每个线程从全局索引位置读取元素,将它存储到共享内存之中。在使用共享内存的时候,还应该注意数据存在着交叉,应该将边界上的数据拷贝进来。

__global__ 
void ddkernel(paramenter)
{
    const int i=threadIdx.x+blockDim.x*BlockIdx.x;
    if(i.size)return;

    const int s_idx=threadIdx.x+RAD;
    extern __shared__ float s_in[];
    
    s_in[s_idx]=d_in[i];
    if(threadIdx.x<RAD){
        s_in[s_idx-RAD]=d_in[i-RAD];
        s_in[s_idx+blockDim.x]=d_in[i+blockDim.x]; 
    }            
    __syncthread();



} 

  

 

以上是关于cuda GPU 编程之共享内存的使用的主要内容,如果未能解决你的问题,请参考以下文章

CUDA共享内存的使用示例

两个进程可以共享相同的 GPU 内存吗? (CUDA)

CUDA编程共享内存与Thread的同步

CUDA编程共享内存与Thread的同步

GPU高性能运算之CUDA,CUDA编程报错,大牛帮忙解答啊

CUDA编程GPU内存总结