具有任意数量输入通道（超过 RGB）的卷积神经网络架构

Posted 2023-02-23

【中文标题】具有任意数量输入通道（超过 RGB）的卷积神经网络架构

【英文标题】：Convolutional neural network architectures with an arbitrary number of input channels (more than RGB)

【发布时间】：2019-02-02 10:52:30

【问题描述】：

我对使用 CNN 进行图像识别非常陌生，目前使用 Keras（VGG 和 ResNet）中可用的几种标准（预训练）架构进行图像分类任务。我想知道如何将输入通道的数量概括为 3 个以上（而不是标准 RGB）。例如，我有一张通过 5 种不同（光学）滤镜拍摄的图像，我正在考虑将这 5 张图像传递给网络。

所以，从概念上讲，我需要作为输入（高度、宽度、深度）= (28, 28, 5) 传递，其中 28x28 是图像大小，5 - 通道数。

请问有什么简单的方法可以用 ResNet 或 VGG 做到这一点？

【问题讨论】：

通道是 RGB + 2（例如 alpha）还是完全不同的编码？有没有办法将你的 5 通道格式转换为 RGB？

@Djib2011，好点子！我相信这是可能的，但是我想知道是否可以直接通过它们。例如，您使用 CMYK 方案（或任何其他方案）代替 RGB。

如果我猜的话，我会说不。如果您愿意，可以查看this 答案，我在其中讨论了将灰度图像输入到预训练网络的问题。 OP 询问是否可以替换输入层，以便它可以接受不同数量的通道。我觉得这是不可能的，因为后面的层已经学会了从这个即将被移除的层中提取特征。

【参考方案1】：

如果您重新训练模型，这不是问题。只有当您想使用经过训练的模型时，您才必须保持输入相同。