用CNN+RNN实现image-to-text任务:原理讲解和代码实现

Posted 沉迷单车的追风少年

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了用CNN+RNN实现image-to-text任务:原理讲解和代码实现相关的知识,希望对你有一定的参考价值。

前言:text-image配对数据集并不是珍贵的,OpenAI为了训练GLIDE等大模型,曾经使用十亿量级的text-image数据集,而这些数据集主要是从互联网上爬取过滤的。image-to-text作为image-to-text的镜像问题,相关的研究少了很多。我们可以用CNN+LSTM搭建一个成功的模型用于完成这一任务。

目录

方法详解

整体流程

编码器:CNN

解码器:LSTM

以上是关于用CNN+RNN实现image-to-text任务:原理讲解和代码实现的主要内容,如果未能解决你的问题,请参考以下文章

手把手写深度学习(17):用LSTM为图片生成文字描述(Image-to-text任务)

CNN和RNN在NLP任务中的对比实验

花式自然语言处理

用RNN & CNN进行情感分析 - PyTorch

干货对抗自编码器PyTorch手把手实战系列——PyTorch实现对抗自编码器

利用knn svm cnn 逻辑回归 mlp rnn等方法实现mnist数据集分类(pytorch实现)