单 GPU 程序 转 多 GPU 程序

Posted cofludy

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了单 GPU 程序 转 多 GPU 程序相关的知识,希望对你有一定的参考价值。

1. 将所有的 CFU  directive 改写成cuda kernel

2. 将所有的符号(包括边界条件的指示符号等) 全部换成 多GPU 符号 ---做完这一步需要检查一下程序是否正确

3. 将所有的GPU上的变量申请全部换成多GPU的变量符号

4. 将中部边界条件添加上。

完成。

以上是关于单 GPU 程序 转 多 GPU 程序的主要内容,如果未能解决你的问题,请参考以下文章

理解多CUDA Context(多进程同时使用GPU)的情况

在 CUDA Unified Memory 多 GPU 或多处理器中使用原子算术运算

[转] pytorch指定GPU

多线程会降低 GPU 性能

tensorflow使用horovod进行多gpu训练

单 GPU 上的 Transformer 模型微调