论文泛读106利用位置偏差进行稳健的方面情绪分类

Posted 2021-06-15 及时行樂_

贴一下汇总贴：论文阅读记录

论文链接：《Exploiting Position Bias for Robust Aspect Sentiment Classification》

一、摘要

方面情感分类（ASC）旨在确定对句子中不同方面表达的情感。虽然最先进的 ASC 模型已经取得了卓越的性能，但最近表明它们存在鲁棒性问题。特别是在两种常见场景中：当测试和训练数据的域不同（域外场景）或测试数据受到对抗性干扰（对抗性场景）时，ASC 模型可能会关注不相关的词而忽略真正描述不同方面的意见表达. 为了应对这一挑战，在本文中，我们假设位置偏差（即，更接近相关方面的词将具有更高的重要性）对于通过减少错误参与的可能性来构建更强大的 ASC 模型至关重要。因此，我们提出了两种捕获位置偏差的机制，即位置偏差权重和位置偏差 dropout，它们可以灵活地注入现有模型以增强分类表示。在域外和对抗性数据集上进行的实验表明，我们提出的方法在很大程度上提高了当前模型的鲁棒性和有效性。

代码：github

二、结论

在这项工作中，我们发现最先进的ASC模型受到健壮性问题的困扰，特别是在两种情况下:1)域外情况，2)对抗情况。为了解决这个问题，我们提出了一种简单而有效的感应偏置，即位置偏置。我们提出了两种捕捉位置偏差的机制，即位置偏差权重和位置偏差缺失。它们被注入到现有模型中以增强表示。大量实验表明，所提出的方法可以大大提高模型的鲁棒性。研究结果验证了我们的假设，即位置偏差有利于建立更稳健的自回归模型。

这项工作应在以下两个方面进行改进:1)由于引入位置偏差的方法既简单又幼稚，特别是对于预先训练的语言模型，考虑一个设计良好的架构以更优雅的方式注入位置偏差是有意义的。二)研究表明方位偏误与句子的句法结构高度相关。因此，同样可以探索语法来增强抽象语法模型的健壮性。

三、model

数据：食物很好但是服务很差。

根据位置偏差权重(pos-wt)和压差(pos-dp)来检查这些模型在注入位置偏差前后的性能。

效果：