我们可以制作一个使用多个图像进行预测的卷积网络吗

Posted 2023-03-13

【中文标题】我们可以制作一个使用多个图像进行预测的卷积网络吗

【英文标题】：can we make a convolution network that use more than one image to make a prediction

【发布时间】：2020-03-29 00:14:33

【问题描述】：

我从教程中裁剪了以下图像。

此图显示了标准神经网络的粗略结构。将一张图像作为输入并进行预测。

我在想的是某种并行结构。想想像下图这样的东西。

与上图不完全一样。但是你可以看到我正在尝试使用两张图像来做出一个预测。这张图片是为了让您了解我要问的内容。

是否可以像这样或任何其他方式使用多于一张（两张、三张……）图像来做出一个预测。现在，这不会用于实际的照片分类。但我认为这种技术可以用于像音频分类这样的文件中，其中数据的图形表示与图像分类技术一起使用。

对此有何建议、指导或意见？

如果我们考虑完全实现图中的内容，如果我使用像 Keras (Keras.model.sequential) 这样的高级 API，我们所能做的就是不断地一层一层地添加。

那么我可以使用什么样的技术来实现并行结构

【参考方案1】：

是的，您可以使用多个图像作为输入。例如，请参阅 Siamese Neural Network，它将 2 个图像作为输入并将它们传递给共享网络架构。

如果您希望将任意数量的图像作为输入，您可以使用基于循环神经网络的架构，例如 Convolutional LSTM，它本质上使用 LSTM 循环网络将 CNN 应用于输入序列的每个图像.