non_blocking参数的设置。

Posted 2022-05-31 AI浩

问题：
images.cuda(non_blocking=True)，target.cuda(non_blocking=True)把数据迁移到GPU里面；
nn.DataParallel(model.to(device), device_ids=gpus, output_device=gpus[0])包装模型。

images.cuda(non_blocking=True)为何要设置参数non_blocking=True呢？

解释：non_blocking默认值为False, 通常我们会在加载数据时，将DataLoader的参数pin_memory设置为True, DataLoader中参数pin_memory的作用是：将生成的Tensor数据存放在哪里，值为True时，意味着生成的Tensor数据存放在锁页内存中，这样内存中的Tensor转义到GPU的显存会更快。
主机中的内存，有两种存在方式，一是锁页，二是不锁页，锁页内存存放的内容在任何情况下都不会与主机的虚拟内存进行交换（注：虚拟内存就是硬盘），而不锁页内存在主机内存不足时，数据会存放在虚拟内存中。显卡中的显存全部是锁页内存,当计算机的内存充足的时候，可以设置pin_memory=True。当系统卡住，或者交换内存使用过多的时候，设置pin_memory=False。（参考：链接）
如果pin_memory=True的话，将数据放入GPU的时候，也应该把non_blocking打开，这样就只把数据放入GPU而不取出，访问时间会大大减少。

参考文章：https://blog.csdn.net/qq_23981335/article/details/118678541