PyTorch多卡训练
Posted 流水不争先_争的是滔滔不绝
tags:
篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了PyTorch多卡训练相关的知识，希望对你有一定的参考价值。
下面代码实现torch多卡同时训练
import pytorch as torch
from torch.utils.data.distributed import DistributedSample
torch.distributed.init_process_group(backend='nccl')#初始化并行训练
n_gpu = torch.cuda.device_count()#统计gpu数量
model = torch.nn.DataParallel(model)#多卡部署模型
data = TensorDataset(data)
data = DistributedSample(data)#分布训练
loss = model(data)
loss = loss.mean()#多卡取平均loss
以上是关于PyTorch多卡训练的主要内容，如果未能解决你的问题，请参考以下文章