在GPU上训练PyTorch代码

Posted love the future

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了在GPU上训练PyTorch代码相关的知识,希望对你有一定的参考价值。

文章目录

PyTorch操作

Py Torch允许我们在程序内部进行计算时,无缝地将数据移动到GPU。当我们使用GPU时,我们可以使用.cuda()方法,当我们使用CPU时,我们可以使用.CPU()方法。
我们也可以使用.to()方法,如果要进入GPU,我们要写入to.(‘cuda’),要进入CPU,我们要写入to.(‘CPU’).我们将看到一个使用前两个的示例,然后我们将默认始终使用to()变量。

要在培训过程中使用GPU,有两个基本要求。

  • 数据必须在GPU
  • 网络必须在GPU。
    默认情况下,当创建PyTorch张量或Py Torch神经网络模块时,相应的数据在CPU上初始化。具体来说,数据存在于CPU的内存中。
    现在,让我们创建一个张量和一个网络,看看我们如何从CPU转移到GPU。
t = torch.ones(1,1,28,28)
network = Network()

现在,我们调用cuda()方法,

t = t.cuda()
network = network.cuda()

查看是否在GPU上:

gpu_pred = network(t)
gpu_pred.device
#device(type='cuda', index=0)

同样,也可以将在GPU上的数据重新放到CPU上面

t = t.cpu()
network = network.cpu()
cpu_pred = network(t)
cpu_pred.device
#device(type='cpu')

tensor在不同设备上的操作

GPU和CPU是基于数据进行计算的计算设备,因此在计算中直接相互使用的任何两个值都必须存在于同一设备上。
下面的代码是验证不在同一个设备上的操作将会出现错误。

t1 = torch.tensor([
    [1,2],
    [3,4]
])

t2 = torch.tensor([
    [5,6],
    [7,8]
])
t1.device, t2.device
#(device(type='cpu'), device(type='cpu'))
t1 = t1.to('cuda')
t1.device
#device(type='cuda', index=0)
try: 
    t1 + t2
except Exception as e:
    print(e)
#expected device cuda:0 but got device cpu
try: 
    t2 + t1
except Exception as e: 
    print(e)

#expected device cpu but got device cuda:0

从上面的代码中可以看出,操作符前后的数据在不同的设备上,报错的信息也发生了不同。二进制加号操作期望第二个参数与第一个参数具有相同的设备。理解此错误的含义有助于调试这些类型的设备不匹配。
将两个tensor都放在同一个设备上:

t2 = t2.to('cuda')
t1 + t2
# tensor([[ 6,  8],
#         [10, 12]], device='cuda:0')

网络的不同设备上

在上面的实例中
网络也可以放到GPU上,具体的实质是什么呢?

network = network.cuda()

通过在前面的文章中使用过的网络

network = Network()
for name, param in network.named_parameters():
    print(name, '\\t\\t', param.shape)

# conv1.weight        torch.Size([6, 1, 5, 5])
# conv1.bias          torch.Size([6])
# conv2.weight        torch.Size([12, 6, 5, 5])
# conv2.bias          torch.Size([12])
# fc1.weight          torch.Size([120, 192])
# fc1.bias            torch.Size([120])
# fc2.weight          torch.Size([60, 120])
# fc2.bias            torch.Size([60])
# out.weight          torch.Size([10, 60])
# out.bias            torch.Size([10])


for n, p in network.named_parameters():
    print(p.device, '', n)

# cpu  conv1.weight
# cpu  conv1.bias
# cpu  conv2.weight
# cpu  conv2.bias
# cpu  fc1.weight
# cpu  fc1.bias
# cpu  fc2.weight
# cpu  fc2.bias
# cpu  out.weight
# cpu  out.bias

在这里,我们创建了一个PyTorch网络,并迭代了该网络的参数。正如我们所见,网络的参数是网络内部的权重和偏差。换句话说,这些只是我们已经看到的存在于设备上的张量。让我们通过检查每个参数的设备来验证这一点。所有的权重和偏差张量都在CPU上。
这向我们表明,默认情况下,网络中的所有参数都在CPU上初始化。
这也就解释了网络也可以放到GPU上的实质:网络等模块实例实际上没有设备,不是存在于设备上的网络,而是存在于设备上的网络中的张量。(网络在某个设备上也就是说是网络上的参数张量存在某个设备上)

network.to('cuda')
for n, p in network.named_parameters():
    print(p.device, '', n)

# cuda:0  conv1.weight
# cuda:0  conv1.bias
# cuda:0  conv2.weight
# cuda:0  conv2.bias
# cuda:0  fc1.weight
# cuda:0  fc1.bias
# cuda:0  fc2.weight
# cuda:0  fc2.bias
# cuda:0  out.weight
# cuda:0  out.bias

**总结:**一般使用to()方法进行设备的转换,用该方法可以编写设备无关的代码,将设备device作为参数传递,增加代码的效率。

以上是关于在GPU上训练PyTorch代码的主要内容,如果未能解决你的问题,请参考以下文章

在GPU上训练PyTorch代码

PyTorch在GPU上训练模型

使用 pytorch 闪电进行多 GPU 训练时出错

pytorch使用horovod多gpu训练

[pytorch]单多机下多GPU下分布式负载均衡训练

GPU进行深度学习训练——新手指南