在GPU上训练PyTorch代码
Posted love the future
tags:
篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了在GPU上训练PyTorch代码相关的知识,希望对你有一定的参考价值。
文章目录
PyTorch操作
Py Torch允许我们在程序内部进行计算时,无缝地将数据移动到GPU。当我们使用GPU时,我们可以使用.cuda()方法,当我们使用CPU时,我们可以使用.CPU()方法。
我们也可以使用.to()方法,如果要进入GPU,我们要写入to.(‘cuda’),要进入CPU,我们要写入to.(‘CPU’).我们将看到一个使用前两个的示例,然后我们将默认始终使用to()变量。
要在培训过程中使用GPU,有两个基本要求。
- 数据必须在GPU
- 网络必须在GPU。
默认情况下,当创建PyTorch张量或Py Torch神经网络模块时,相应的数据在CPU上初始化。具体来说,数据存在于CPU的内存中。
现在,让我们创建一个张量和一个网络,看看我们如何从CPU转移到GPU。
t = torch.ones(1,1,28,28)
network = Network()
现在,我们调用cuda()方法,
t = t.cuda()
network = network.cuda()
查看是否在GPU上:
gpu_pred = network(t)
gpu_pred.device
#device(type='cuda', index=0)
同样,也可以将在GPU上的数据重新放到CPU上面
t = t.cpu()
network = network.cpu()
cpu_pred = network(t)
cpu_pred.device
#device(type='cpu')
tensor在不同设备上的操作
GPU和CPU是基于数据进行计算的计算设备,因此在计算中直接相互使用的任何两个值都必须存在于同一设备上。
下面的代码是验证不在同一个设备上的操作将会出现错误。
t1 = torch.tensor([
[1,2],
[3,4]
])
t2 = torch.tensor([
[5,6],
[7,8]
])
t1.device, t2.device
#(device(type='cpu'), device(type='cpu'))
t1 = t1.to('cuda')
t1.device
#device(type='cuda', index=0)
try:
t1 + t2
except Exception as e:
print(e)
#expected device cuda:0 but got device cpu
try:
t2 + t1
except Exception as e:
print(e)
#expected device cpu but got device cuda:0
从上面的代码中可以看出,操作符前后的数据在不同的设备上,报错的信息也发生了不同。二进制加号操作期望第二个参数与第一个参数具有相同的设备。理解此错误的含义有助于调试这些类型的设备不匹配。
将两个tensor都放在同一个设备上:
t2 = t2.to('cuda')
t1 + t2
# tensor([[ 6, 8],
# [10, 12]], device='cuda:0')
网络的不同设备上
在上面的实例中
网络也可以放到GPU上,具体的实质是什么呢?
network = network.cuda()
通过在前面的文章中使用过的网络
network = Network()
for name, param in network.named_parameters():
print(name, '\\t\\t', param.shape)
# conv1.weight torch.Size([6, 1, 5, 5])
# conv1.bias torch.Size([6])
# conv2.weight torch.Size([12, 6, 5, 5])
# conv2.bias torch.Size([12])
# fc1.weight torch.Size([120, 192])
# fc1.bias torch.Size([120])
# fc2.weight torch.Size([60, 120])
# fc2.bias torch.Size([60])
# out.weight torch.Size([10, 60])
# out.bias torch.Size([10])
for n, p in network.named_parameters():
print(p.device, '', n)
# cpu conv1.weight
# cpu conv1.bias
# cpu conv2.weight
# cpu conv2.bias
# cpu fc1.weight
# cpu fc1.bias
# cpu fc2.weight
# cpu fc2.bias
# cpu out.weight
# cpu out.bias
在这里,我们创建了一个PyTorch网络,并迭代了该网络的参数。正如我们所见,网络的参数是网络内部的权重和偏差。换句话说,这些只是我们已经看到的存在于设备上的张量。让我们通过检查每个参数的设备来验证这一点。所有的权重和偏差张量都在CPU上。
这向我们表明,默认情况下,网络中的所有参数都在CPU上初始化。
这也就解释了网络也可以放到GPU上的实质:网络等模块实例实际上没有设备,不是存在于设备上的网络,而是存在于设备上的网络中的张量。(网络在某个设备上也就是说是网络上的参数张量存在某个设备上)
network.to('cuda')
for n, p in network.named_parameters():
print(p.device, '', n)
# cuda:0 conv1.weight
# cuda:0 conv1.bias
# cuda:0 conv2.weight
# cuda:0 conv2.bias
# cuda:0 fc1.weight
# cuda:0 fc1.bias
# cuda:0 fc2.weight
# cuda:0 fc2.bias
# cuda:0 out.weight
# cuda:0 out.bias
**总结:**一般使用to()方法进行设备的转换,用该方法可以编写设备无关的代码,将设备device作为参数传递,增加代码的效率。
以上是关于在GPU上训练PyTorch代码的主要内容,如果未能解决你的问题,请参考以下文章