嵌入递归神经网络
Posted
技术标签:
【中文标题】嵌入递归神经网络【英文标题】:Embeddings with recurrent neural networks 【发布时间】:2016-11-28 11:22:28 【问题描述】:我正在从事一个关于文本数据的研究项目(它是关于搜索引擎查询监督分类)。我已经实现了不同的方法,并且我还为文本使用了不同的模型(例如我的词汇量的二进制向量 - 如果第 i 个单词出现在文本中,则为 1,否则为 0 - 或使用模型 word2vec 嵌入的单词)。
我的顾问告诉我,也许我们可以使用循环神经网络找到查询的另一种表示。由于递归关系,这种表示应该考虑到文本中单词的顺序。我已经阅读了一些关于 RNN 的文档,但我没有找到任何对这个目标有用的东西。我已经阅读了很多关于语言建模(预测单词的概率)的内容,但我不明白如何调整这个模型以获得类似嵌入向量的东西。
非常感谢!
【问题讨论】:
【参考方案1】:通常,如果想从查询或利用 RNN 的句子中获取嵌入,则使用 logits。 logits 只是完整句子/查询前向传递后网络的输出值。
logit 值生成一个向量,该向量具有输出层的维度(即目标类的数量):通常是词汇表,因为它们是从语言模型中提取的。
有关提示,请查看以下内容:
http://arxiv.org/abs/1603.07012 How does word2vec give one hot word vector from the embedding vector?请注意,原则上,人们也可以使用双向网络或受过其他任务训练的网络,从而获得更小的嵌入,即使最后一个选项有点花哨并且据我所知尚未探索。
【讨论】:
以上是关于嵌入递归神经网络的主要内容,如果未能解决你的问题,请参考以下文章