如何使用 PyTorch 中的单个全连接层直接将输入连接到输出？

Posted 2023-03-29

【中文标题】如何使用 PyTorch 中的单个全连接层直接将输入连接到输出？

【英文标题】：How to connect the input to the output directly using single fully connected layer in PyTorch?

【发布时间】：2019-05-04 07:17:37

【问题描述】：

我是深度学习和 cnn 的新手，并尝试使用 PyTorch 网站上的 CIFAR10 教程代码熟悉该领域。因此，在该代码中，我正在使用删除/添加图层以更好地理解它们的效果，并且我尝试仅使用单个完全连接将输入（这是具有 4 个图像批次的初始数据）直接连接到输出层。我知道这没有多大意义，但我这样做只是为了实验。所以，当我尝试这样做时，我遇到了一些错误，如下所示：

首先，这里是代码sn-p：

########################################################################
# 2. Define a Convolution Neural Network
# ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
# Copy the neural network from the Neural Networks section before and modify it to
# take 3-channel images (instead of 1-channel images as it was defined).

import torch.nn as nn
import torch.nn.functional as F


class Net(nn.Module):
    def __init__(self):
        super(Net, self).__init__()
        #self.conv1 = nn.Conv2d(3, 6, 5)
        #self.pool = nn.MaxPool2d(2, 2)
        #self.conv2 = nn.Conv2d(6, 16, 5)
        #self.fc1 = nn.Linear(16 * 5 * 5, 120)
        #self.fc2 = nn.Linear(120, 84)
        self.fc3 = nn.Linear(768 * 4 * 4, 10)

    def forward(self, x):
        #x = self.pool(F.relu(self.conv1(x)))
        #x = self.pool(F.relu(self.conv2(x)))
        x = x.view(-1, 768 * 4 * 4)
        #x = F.relu(self.fc1(x))
        #x = F.relu(self.fc2(x))
        x = self.fc3(x)
        return x


net = Net()

#######################################################################
# 3. Define a Loss function and optimizer
# ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
# Let's use a Classification Cross-Entropy loss and SGD with momentum.

import torch.optim as optim

criterion = nn.CrossEntropyLoss()
optimizer = optim.SGD(net.parameters(), lr=0.001, momentum=0.9)

########################################################################
# 4. Train the network
# ^^^^^^^^^^^^^^^^^^^^
#
# This is when things start to get interesting.
# We simply have to loop over our data iterator, and feed the inputs to the
# network and optimize.

for epoch in range(4):  # loop over the dataset multiple times

    running_loss = 0.0
    for i, data in enumerate(trainloader, 0):
        # get the inputs
        inputs, labels = data

        # zero the parameter gradients
        optimizer.zero_grad()

        # forward + backward + optimize
        outputs = net(inputs)
        print(len(outputs))
        print(len(labels))
        loss = criterion(outputs, labels)
        loss.backward()
        optimizer.step()

        # print statistics
        running_loss += loss.item()
        if i % 2000 == 1999:    # print every 2000 mini-batches
            print('[%d, %5d] loss: %.3f' %
                  (epoch + 1, i + 1, running_loss / 2000))
            running_loss = 0.0

print('Finished Training')

所以，当我运行代码时，我收到以下错误：

Traceback (most recent call last):
      File "C:\Users\Andrey\Desktop\Machine_learning_Danila\Homework 3\cifar10_tutorial1.py", line 180, in <module>
        loss = criterion(outputs, labels)
      File "C:\Program Files\Python36\lib\site-packages\torch\nn\modules\module.py", line 477, in __call__
        result = self.forward(*input, **kwargs)
      File "C:\Program Files\Python36\lib\site-packages\torch\nn\modules\loss.py", line 862, in forward
        ignore_index=self.ignore_index, reduction=self.reduction)
      File "C:\Program Files\Python36\lib\site-packages\torch\nn\functional.py", line 1550, in cross_entropy
        return nll_loss(log_softmax(input, 1), target, weight, None, ignore_index, None, reduction)
      File "C:\Program Files\Python36\lib\site-packages\torch\nn\functional.py", line 1405, in nll_loss
        .format(input.size(0), target.size(0)))
    ValueError: Expected input batch_size (1) to match target batch_size (4).

我试图检查 x 的长度，结果发现它最初是 4，但在该行之后变为 1

x = x.view(-1, 768 * 4 * 4)

我认为我的数字是正确的，但似乎我只有 1 个张量而不是我应该有的 4 个，我觉得这就是导致该错误的原因。 我想知道，为什么会这样，解决这个问题的最佳方法是什么？ 另外，在这种情况下，nn.Linear（全连接层）中输出维度输出的最佳最佳数量是多少？

【问题讨论】：

我认为您的输入与 CIFAR10 图像不兼容。你做了一些改造吗？ 768 * 4 * 4 是从哪里来的？

好的，我想我明白了，你在线性层的输入大小中包含了“批量大小”（4）。你不应该。所以你应该写：x = x.view(-1, 768 * 4) 和 self.fc3 = nn.Linear(768 * 4 , 10)

其实我真的被你选择的768 * 4 * 4弄糊涂了...输入是4 * 3 * 32 * 32 (每批 4 张图像，每 3 个通道为 32 x 32）。所以 768 * 4 与 3 * 32 * 32 相同，但它确实是一种奇怪的查看方式。你的计算是什么？

嗨@godot，谢谢，这解决了我的问题。我想我的问题是我真的不知道如何正确计算，所以我先做 12 x 32 x 32，然后我把它改成 768 x 4 x 4，但我不知道它背后的逻辑，但现在我明白了它是如何工作的，谢谢您的解释。

你能否也回答我的第二个问题，关于输出维度输出全连接层？

【参考方案1】：

您修改的代码中有两个明显的错误（来自 PyTorch 网页的官方错误）。首先，

torch.nn.Linear(in_features, out_features)

是正确的语法。但是，您将768 * 4 * 4 传递为in_features。这是一张 CIFAR10 图像中实际神经元（像素）数量的 4 倍（32*32*3 = 3072）。

第二个错误与第一个错误有关。当您准备 inputs 张量时，

# forward + backward + optimize;
# `inputs` should be a tensor of shape [batch_size, input_shape]
        outputs = net(inputs)

您应该将其作为形状为 [batch_size, input_size] 的张量传递，根据您的要求是 [4, 3072]，因为您希望使用 4 的批量大小。这是您应该提供批量维度的地方；不在nn.Linear 中，这是您当前正在执行的操作并导致错误。

最后，您还应该修复forward 方法中的行。更改以下行

x = x.view(-1, 768 * 4 * 4)   

到

x = x.view(-1, 32*32*3)

修复这些错误应该可以修复您的错误。

---

话虽如此，但从概念上讲，我不确定这是否真的有效。因为这是一个简单的线性变换（即没有任何非线性的仿射变换）。在这个 3072 维空间（流形）中，数据点（对应于 CIFAR10 中的图像）很可能不是线性可分的。因此，准确性会非常差。因此建议至少添加一个具有非线性的隐藏层，例如 ReLU。

【讨论】：

嗨，@kmario，是的，你的回答很完美，谢谢你指出我的错误。正如我最初在问题中提到的那样，我知道这种模型不会给出好的结果，我只需要自己检查一下，看看它会如何影响准确性。