并行程序设计---cuda memory
Posted gccbuaa
tags:
篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了并行程序设计---cuda memory相关的知识,希望对你有一定的参考价值。
CUDA存储器模型:
GPU片内:register,shared memory;
host 内存: host memory, pinned memory.
板载显存:local memory,constant memory, texture memory, texture memory,global memory;
register: 訪问延迟极低;
基本单元:register file (32bit/each)
计算能力1.0/1.1版本号硬件:8192/SM。
计算能力1.2/1.3版本号硬件: 16384/SM;
每一个线程占有的register有限。编程时不要为其分配过多私有变量。
shared memory:訪问速度与寄存器相似。
实现线程间通信的延迟最小。
保存公用的计数器或者block的公用结果。
硬件1.0~1.3中。16KByte/SM,被组织为16个bank。
声明keyword _shared_ int sdata_static[16];
host内存:分为pageable memory 和 pinned memory
pageable memory: 通过操作系统API(malloc()。new())分配的存储器空间;、
pinned memory:始终存在于物理内存中,不会被分配到低速的虚拟内存中,可以通过DMA加速与设备端进行通信。
cudaHostAlloc(), cudaFreeHost()来分配和释放pinned memory。使用pinned memory长处:主机端-设备端的传输数据带宽高; 某些设备上能够通过zero-copy功能映射到设备地址空间。从GPU直接訪问,省掉主存与显存间进行数据拷贝的工作; pinned memory 不能够分配过多:导致操作系统用于分页的物理内存变。 导致系统总体性能下降。通常由哪个cpu线程分配,就仅仅有这个线程才有訪问权限;
cuda2.3版本号中,pinned memory功能扩充:
portable memory:让控制不同GPU的主机端线程操作同一块portable memory,实现cpu线程间通信;使用cudaHostAlloc()分配页锁定内存时。加上cudaHostAllocPortable标志。
write-combined Memory:提高从cpu向GPU单向数据传输的速度;不使用cpu的L1,L2 cache对一块pinned memory中的数据进行缓冲。将cache资源留给其它程序使用。在pci-e总线传输期间不会被来自cpu的监视打断。在调用cudaHostAlloc()时加上cudaHostAllocWriteCombined标志。cpu从这样的存储器上读取的速度非常低。
mapped memory:两个地址:主机端地址(内存地址),设备端地址(显存地址)。 能够在kernnel程序中直接訪问mapped memory中的数据。不必在内存和显存之间进行数据拷贝,即zero-copy功能;在主机端能够由cudaHostAlloc()函数获得。在设备端指针能够通过cudaHostGetDevicePointer()获得;通过cudaGetDeviceProperties()函数返回的canMapHostMemory属性知道设备是否支持mapped memory;在调用cudaHostAlloc()时加上cudaHostMapped标志,将pinned memory映射到设备地址空间。必须使用同步来保证cpu和GPu对同一块存储器操作的顺序一致性;显存中的一部分能够既是portable memory又是mapped memory。在运行CUDA操作前,先调用cudaSetDeviceFlags()(加cudaDeviceMapHost标志)进行页锁定内存映射。
constant memory:仅仅读地址空间;位于显存,有缓存加速;64Kb。用于存储须要频繁訪问的仅仅读參数 。仅仅读;使用_constant_ keyword。定义在全部函数之外。两种常数存储器的用法:直接在定义时初始化常数存储器。定义一个constant数组。然后使用函数进行赋值;
texture memory:仅仅读。不是一块专门的存储器,而是牵涉到显存、两级纹理缓存、纹理拾取单元的纹理流水线;数据常以一维、二维或者三维数组的形式存储在显存中;缓存加速;能够声明大小比常数存储器大得多;适合实现图像树立和查找表。对大量数据的随机訪问或非对齐訪问有良好的加速效果;在kernel中訪问纹理存储器的操作成为纹理拾取(texture fetching)。纹理拾取使用的坐标与数据在显存中的位置能够不同,通过纹理參照系约定二者的映射方式。将显存中的数据与纹理參照系关联的操作,称为将数据与纹理绑定(texture binding)。显存中能够绑定到纹理的数据有:普通线性存储器和cuda数组;存在缓存机制;能够设定滤波模式,寻址模式等;
local memory:寄存器被使用完成,数据将被存储在局部存储器中;
大型结构体或者数组。
无法确定大小的数组;
线程的输入和中间变量;
定义线程私有数组的同一时候进行初始化的数组被分配在寄存器中。
global memory:存在于显存中。也称为线性内存(显存能够被定义为线性存储器或者CUDA数组)。
cudaMalloc()函数分配,cudaFree()函数释放,cudaMemcpy()进行主机端与设备端的传输数据。
初始化共享存储器须要调用cudaMemset();
二维三维数组:cudaMallocPitch()和cudaMalloc3D()分配线性存储空间,能够确保分配满足对齐要求;
cudaMemcpy2D()。cudaMemcpy3D()与设备端存储器进行拷贝;
以上是关于并行程序设计---cuda memory的主要内容,如果未能解决你的问题,请参考以下文章