论文泛读166深度神经网络在阅读理解过程中进化出类人的注意力分布

Posted 2021-08-15 及时行樂_

贴一下汇总贴：论文阅读记录

论文链接：《Deep Neural Networks Evolve Human-like Attention Distribution during Reading Comprehension》

一、摘要

注意是生物大脑和许多最先进的深度神经网络 (DNN) 中信息选择的关键机制。在这里，我们调查了人类和 DNN 在阅读文本段落以随后回答特定问题时是否以类似的方式分配注意力。我们分析了 3 个基于转换器的 DNN，它们在训练执行阅读理解任务时达到人类水平的性能。我们发现 DNN 注意力分布在数量上类似于通过注视时间测量的人类注意力分布。人类读者更长时间地关注与问答任务更相关的单词，这表明注意力是由自上而下的阅读目标调节的，在刺激的较低级别的视觉和文本特征之上。进一步的分析表明，DNN 中的注意力权重也受自上而下的阅读目标和低级刺激特征的影响，浅层受低级文本特征的影响更大，深层更关注与任务相关的单词. 此外，当对预训练的 DNN 模型进行微调以执行阅读理解任务时，深层对任务相关词的关注逐渐出现，这与任务性能的提高不谋而合。这些结果表明 DNN 可以通过任务优化来进化出类人的注意力分布，这表明目标导向阅读理解过程中的人类注意力是任务优化的结果。浅层受较低级别文本特征的影响更大，而深层则更多地关注与任务相关的单词。此外，当对预训练的 DNN 模型进行微调以执行阅读理解任务时，深层对任务相关词的关注逐渐出现，这与任务性能的提高不谋而合。这些结果表明 DNN 可以通过任务优化来进化出类人的注意力分布，这表明目标导向阅读理解过程中的人类注意力是任务优化的结果。浅层受较低级别文本特征的影响更大，而深层则更多地关注与任务相关的单词。此外，当对预训练的 DNN 模型进行微调以执行阅读理解任务时，深层对任务相关词的关注逐渐出现，这与任务性能的提高不谋而合。这些结果表明 DNN 可以通过任务优化来进化出类人的注意力分布，这表明目标导向阅读理解过程中的人类注意力是任务优化的结果。这与任务绩效的提高不谋而合。这些结果表明 DNN 可以通过任务优化来进化出类人的注意力分布，这表明目标导向阅读理解过程中的人类注意力是任务优化的结果。这与任务绩效的提高不谋而合。这些结果表明 DNN 可以通过任务优化来进化出类人的注意力分布，这表明目标导向阅读理解过程中的人类注意力是任务优化的结果。

二、DNN模型

研究1中的实验程序。在每次试验中，参与者先阅读一个问题，然后阅读相应的段落，最后继续阅读该问题，再加上4个选项，并回答它。人类和DNN模型在阅读理解任务上的表现。用于阅读理解任务的DNN模型的结构。模型的输入包括文章中的所有单词和一个综合选项，以及3个特殊标记，即CLS、SEP1和SEP2(表示为C、S1和S2)。CLS令牌整合了单词间的信息，用于计算反映选项正确答案可能性的分数。DNN模型有12层，每层有12个注意力头。一层中注意力机制的图解。在这些模型中，每个单词/标记由一个向量表示，并且信息仅在自我关注模块中跨单词/标记集成。例如，CLS记号的矢量表示是所有单词和记号的矢量表示的加权和。文章中每个单词的注意权重，即αPn，是本研究分析的DNN注意。自我注意模型的输出，即Cl，h，由前馈网络和其他不涉及跨词信息整合的操作进一步处理。

三、结果

• 人的注意力分布及其影响因素

使用不同特征预测人类注意力：

• 人类和DNN的注意力分布

发现DNN注意权重可以显著预测人类注意分布，并且全局问题的预测精度高于局部问题。DNN注意权重的预测准确率高于文本特征和任务相关性。与基于布局特征的预测相比，基于DNN注意力权重的预测对于局部问题更高，对于全局问题更低。

• 人类的任务调制

刺激特征和自上而下任务对每个DNN层的影响：

• 不同层面的DNN关注
• 微调过程中DNN注意的演变

微调对DNN注意力和任务绩效的影响：