pytorch 多GPU 训练

Posted rabitvision

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了pytorch 多GPU 训练相关的知识,希望对你有一定的参考价值。

import os
os.environ[‘CUDA_VISIBLE_DEVICES‘] = ‘0, 1, 2‘
import torch  

#注意以上两行先后顺序不可弄错

 

device = torch.device(‘cuda‘)

model = DataParallel(model)
model.to(device)

 

这样模型就会在gpu 0, 1, 2 上进行训练

以上是关于pytorch 多GPU 训练的主要内容,如果未能解决你的问题,请参考以下文章

Pytorch中多GPU训练指北

pytorch 多GPU 训练

使用 pytorch 闪电进行多 GPU 训练时出错

Pytorch 多GPU训练-多计算节点并行-All you need

pytorch单机多卡训练

[深度学习] Pytorch—— 多/单GPUCPU,训练保存加载模型参数问题