tfjs-examples / date-conversion-attention中使用的注意力模型是什么？

Posted 2023-01-13

我一直在看tfjs示例，并尝试了解seq2seq模型。在此过程中，我偶然发现了date-conversion-attention示例。

这是一个很好的示例，但是示例中使用了什么样的注意力机制？ Readme文件中没有信息。有人可以指出我描述在此使用的注意事项的论文吗？

链接到关注部分：https://github.com/tensorflow/tfjs-examples/blob/908ee32750ba750a14d15caeb53115e2d3dda2b3/date-conversion-attention/model.js#L102-L119

答案

我相信我找到了答案。date-conversion-attention中使用的注意力模型使用点积比对得分，Effective Approaches to Attention-based Neural Machine Translation中对此进行了描述。链接：https://arxiv.org/pdf/1508.04025.pdf