神经网络机器翻译Neural Machine Translation: Attention Mechanism

Posted clear-

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了神经网络机器翻译Neural Machine Translation: Attention Mechanism相关的知识,希望对你有一定的参考价值。

端到端的神经网络机器翻译(End-to-End Neural Machine Translation)是近几年兴起的一种全新的机器翻译方法。前篇NMT介绍的基本RNN Encoder-Decoder结构,RNNenc将源语言句子压缩成一个固定维度的向量是造成性能瓶颈的主要原因。为此,Bengio研究组提出基于注意力(Attention)的NMT,能较好的缓解这一问题并且能更好地处理长距离依赖。本文将介绍这项工作,以及后来Luong等人提出的引入Attention的两种不同的方式等。

转载请注明出处:http://blog.csdn.net/u011414416/article/details/51057789

本文详细介绍的工作有:
Dzmitry Bahdanau, Kyunghyun Cho, and Yoshua Bengio. 2015. Neural machine translation by jointly learning to align and translate. In ICLR.

Thang Luong, Hieu Pham, and Christopher D. Manning. 2015a. Effective approaches to attention-based neural machine translation. In Proceedings of the 2015 Conference on EMNLP.

















以上是关于神经网络机器翻译Neural Machine Translation: Attention Mechanism的主要内容,如果未能解决你的问题,请参考以下文章

神经网络机器翻译Neural Machine Translation: Encoder-Decoder Architecture

神经网络机器翻译Neural Machine Translation: Attention Mechanism

神经网络机器翻译Neural Machine Translation: Attention Mechanism

《Neural Machine Translation: Challenges, Progress and Future》译文分享

神经网络机器翻译Neural Machine Translation: Encoder-Decoder Architecture

神经网络机器翻译Neural Machine Translation: Modeling Coverage & MRT