端到端训练 CNN-LSTLM？

Posted 2023-03-29

【中文标题】端到端训练 CNN-LSTLM？

【英文标题】：Train a CNN-LSTLM end-to-end?

【发布时间】：2017-02-26 21:31:20

【问题描述】：

已经有许多论文（尤其是图像字幕）联合使用 CNN 和 LSTM 架构进行预测和生成任务。然而，它们似乎都独立于 LSTM 来训练 CNN。我正在查看 Torch 和 TensorFlow（使用 Keras），但找不到不能进行端到端训练的原因（至少从架构设计的角度来看），但是似乎没有此类模型的任何文档。

那么，可以吗？ Torch 或 TensorFlow（甚至 Theanos 或 Caffe）是否支持联合训练端到端的 CNN-LSTM 神经网络？如果是这样，是否就像将 CNN 的输出链接到 LSTM 的输入并运行 SGD 一样简单？还是更复杂？

【问题讨论】：

也许已经太晚了，但是一个用户在几个小时前发布了他已经成功完成（在 TF 中）并分享了一些代码，也许你想看看它！ ***.com/questions/47560578/…

【参考方案1】：

CNN-LSTM 模型可以使用 tensorflow 进行端到端训练

假设您有一个输入为X 的CNN 模型M 和一个LSTM 模型LSTM。这可以端到端训练

# here CNN is used to extract meaning features from the input data
features = M(X)
# CNN features are used as input to LSTM
y = LSTM(features)
cost = cost_function(ground_truths, y)

在imdb 数据集上显示用于句子分类的 CNN-LSTM 模型的端到端训练的综合示例可在CNN_LSTM-end-end 获得。