图像序列的分类（固定数量）

Posted 2023-02-16

【中文标题】图像序列的分类（固定数量）

【英文标题】：Classification of a sequence of images (fixed number)

【发布时间】：2020-05-14 03:59:38

【问题描述】：

我使用来自 tensorflow_hub 的预训练 resnet50 成功训练了 CNN 进行单个图像分类。

现在我的目标是向我的网络提供一个按时间顺序的图像序列（不是视频）作为输入，以对主题的行为进行分类。 每个序列由每 100 毫秒拍摄的 20 张图像组成。

什么是最好的神经网络？我在哪里可以找到与我的类似问题的文档/示例？

【参考方案1】：

只要有顺序数据，某种类型的循环神经网络就是很好的候选者（通常采用 LSTM 的形式）。

您的模型可能看起来像 CNN-LSTM 的组合，因为您的图片具有某种顺序关系。

Here is a link to some examples and tutorials。他将在他的示例中设置一个 CNN，但您可能可以装配您的架构以使用您已经制作的 resNet。尽管您处理的不是视频，但您的问题共享同一个域。

Here 是一篇论文，它使用了上面描述的神经网络架构，您可能会觉得有用。

【讨论】：

谢谢，非常有趣。这似乎正是我想要的。在应用示例中，我看到封装了 CNN 模型的 TimeDistributed(cnn, ...)：CNN 可以预训练吗？

如果您当前拥有的模型可以将输入向量输出到 LSTM，我看不出问题。

这正是我想要理解的。我找到了另一篇论文：researchgate.net/publication/…。这似乎是可能的。我的目标是创建一个具有这种形状的网络：[ TimeDistributed(CNN pretrained (可能与我在前一个案例中使用的相同)) -> LSTM -> Dense layer(s) ] 如果可能的话，我会使用相同的网络对于卷积层，因为网络是在相同的图像上训练的，但是是一张一张的，而不是“时间相关的序列”。