论文泛读72具有注意机制的多尺寸神经网络，用于答案选择

Posted 2021-06-06 及时行樂_

贴一下汇总贴：论文阅读记录

论文链接：《A Multi-Size Neural Network with Attention Mechanism for Answer Selection》

一、摘要

语义匹配对于答案选择任务至关重要，该任务旨在从候选答案库中为给定问题选择正确答案。一种有用的方法是采用神经网络来生成句子表示，其方式是使成对句子中的信息可以相互影响表示的计算。在这项工作中，将一种有效的体系结构，具有注意力机制的多尺寸神经网络（AM-MSNN）引入了答案选择任务。由于与单层CNN和多层CNN相比，过滤器的大小各异，因此该架构可并行捕获更多级别的语言粒度。同时，它通过注意力机制扩展了句子的表示形式，从而为不同类型的问题提供了更多的信息。对答案选择的三个不同基准任务的实证研究表明，该模型在所有基准中均有效，并且优于竞争对手。实验结果表明：
（1）与单层/多层CNN相比，多尺寸神经网络（MSNN）是一种更有效的捕获不同粒度级别的抽象特征的方法；
（2）注意机制（AM）是一种获得更多信息表示的较好策略；
（3）AM-MSNN目前是用于答案选择任务的更好的体系结构。

二、结论

本文引入多尺度神经网络、注意机制及其组合来回答选择任务。在三个不同的基准数据集(Superceqa、WikiQA和TrecQA)上进行了实验，实验结果表明，它们都在很大程度上提高了性能。它们可以很容易地适用于各种领域的句子建模，如释义识别(PI)和文本蕴涵(TE)。论文的主要贡献有：
(1)将多层神经网络引入到答案选择任务中，通过比较单层神经网络、多层神经网络和多层神经网络，分析语言粒度对句子建模的影响；
(2)提出调幅以产生更多的信息表示；
(3)将人工神经网络和多尺度神经网络相结合，提高深度学习方法在答案选择任务中的性能。

在未来，我们计划探索AM-MSNN在其他任务上的性能。

三、model

分为带注意力机制和不带注意力机制两种~

AM-MSNN

MSNN

注意力机制架构