输入张量和隐藏张量不在同一个设备上，发现输入张量在 cuda:0 和隐藏张量在 cpu

Posted 2023-02-16

【中文标题】输入张量和隐藏张量不在同一个设备上，发现输入张量在 cuda:0 和隐藏张量在 cpu

【英文标题】：Input and hidden tensors are not at the same device, found input tensor at cuda:0 and hidden tensor at cpu

【发布时间】：2020-12-06 08:24:02

【问题描述】：

这是我的 lstm 网络代码，我将其实例化并传递给 Cuda 设备，但仍然收到隐藏和输入不在同一设备中的错误

class LSTM_net(nn.Module):
def __init__(self, input_size, hidden_size, output_size):
    super(LSTM_net, self).__init__()
    self.hidden_size = hidden_size
    self.lstm_cell = nn.LSTM(input_size, hidden_size)
    self.h2o = nn.Linear(hidden_size, output_size)
    self.softmax = nn.LogSoftmax(dim=1)

def forward(self, input, hidden_0=None, hidden_1=None, hidden_2=None):
    input=resnet(input)
    input=input.unsqueeze(0)
    out_0, hidden_0 = self.lstm_cell(input, hidden_0)
    out_1, hidden_1 = self.lstm_cell(out_0+input, hidden_1)
    out_2, hidden_2 = self.lstm_cell(out_1+input, hidden_2)
    output = self.h2o(hidden_2[0].view(-1, self.hidden_size))
    output = self.softmax(output)
    return output,hidden_0,hidden_1, hidden_2 

def init_hidden(self, batch_size = 1):
    return (torch.zeros(1, batch_size, self.hidden_size), torch.zeros(1, batch_size, self.hidden_size))

net1=LSTM_net(input_size=1000,hidden_size=1000, output_size=100)

net1=net1.to(device)

pic of connections that I want to make, plz guide me to implement it

click here for an image of error massege

【问题讨论】：

您使用什么代码将模型应用于数据/训练它？你的“resnet”模型是在哪里定义的？

我正在使用预训练的 ResNet（实例化并传递给 Cuda）模型，输入是归一化的图像张量

因为你的 forward(...) 方法有参数“hidden_​​0, hidden_​​1, hidden_​​2”，你使用它们吗？如果是这样，我假设您正在为 hidden_​​0 提供一个张量，它还没有驻留在 GPU 上。

是的，我在评估输出时使用它

【参考方案1】：

编辑：我想我现在看到了问题。尝试改变

    def init_hidden(self, batch_size = 1):
        return (torch.zeros(1, batch_size, self.hidden_size), torch.zeros(1, batch_size, self.hidden_size))

到

    def init_hidden(self, batch_size = 1):
        return (torch.zeros(1, batch_size, self.hidden_size).cuda(), torch.zeros(1, batch_size, self.hidden_size).cuda())

这是因为 init_hidden 方法创建的每个张量都不是函数父对象中的数据属性。因此，当您将 cuda() 应用于模型对象的实例时，它们没有应用 cuda()。

尝试在所有涉及的张量/变量和模型上调用 .cuda()。

net1.cuda() # net1.to(device) for device == cuda:0 works fine also 
            # cuda() is more succinct, though
input.cuda()

# now, calling net1 on a tensor named input should not produce the error.
out = net1(input)

【讨论】：

你对模型的前向传递有什么输入？在没有 cuda() 调用的情况下是否有任何张量被实例化？

输入是标准化的图像张量，隐藏的输入已经使用 net.cuda() 用 Cuda 实例化了

仅此而已。只需确保在计算中涉及的每个张量和模型上调用 .cuda() 即可。

谢谢，大卫先生，你很有帮助，问题解决了，是的。

能否请您帮我根据上传的残差连接图检查实现的网络是否正确

【参考方案2】：

确保您为 forward() 方法提供的 hidden_​​0 驻留在 GPU 内存中，或者最好将其作为参数张量存储在模型中，以便优化器对其进行更新并通过 model.cuda() 移动到 gpu .

第二个解决方案的示例，其中 hidden_​​0 驻留在模型中（在 init 中添加并在 forward() 中用作 self.hidden_0）：

class LSTM_net(nn.Module):
    def __init__(self, input_size, hidden_size, output_size):
        super(LSTM_net, self).__init__()
        self.hidden_size = hidden_size
        self.lstm_cell = nn.LSTM(input_size, hidden_size)
        self.h2o = nn.Linear(hidden_size, output_size)
        self.softmax = nn.LogSoftmax(dim=1)
        self.hidden_0 = torch.nn.parameter.Parameter(torch.zeros(1, batch_size, self.hidden_size)) #taken from init_hidden, assuming that's the intended shape

    def forward(self, input, hidden_0=None, hidden_1=None, hidden_2=None):
        input=resnet(input)
        input=input.unsqueeze(0)
        out_0, hidden_0 = self.lstm_cell(input, self.hidden_0)
        out_1, hidden_1 = self.lstm_cell(out_0+input, hidden_1)
        out_2, hidden_2 = self.lstm_cell(out_1+input, hidden_2)
        output = self.h2o(hidden_2[0].view(-1, self.hidden_size))
        output = self.softmax(output)
        return output,hidden_0,hidden_1, hidden_2 

【讨论】：

AttributeError: 模块“火炬”没有属性“参数”

pytorch.org/docs/stable/generated/…（答案已编辑）- 不过，您可能需要对 hidden_​​1 和 hidden_​​2 执行相同的操作。

谢谢大佬 问题已经解决了，能不能帮我根据上传的残差图看看实现的网络是否正确