论文泛读187使用 BERT 基于阿拉伯语方面的情感分析

Posted 2021-11-12 及时行樂_

贴一下汇总贴：论文阅读记录

论文链接：《Arabic aspect based sentiment analysis using BERT》

一、摘要

基于方面的情感分析(ABSA)是一种文本分析方法，它定义了与特定目标相关的某些方面的观点的极性。关于ABSA的大部分研究是用英语进行的，少量工作是用阿拉伯语进行的。大多数先前的阿拉伯语研究依赖于深度学习模型，该模型主要依赖于与上下文无关的单词嵌入(例如，word2vec)，其中每个单词都有独立于其上下文的固定表示。本文从预先训练的语言模型(如BERT)中探索上下文嵌入的建模能力，并在阿拉伯语ABSA任务中使用句子对输入。特别是，我们正在建立一个简单但有效的基于BERT的神经基线来处理这项任务。根据在基准阿拉伯酒店评论数据集上的实验结果，我们具有简单线性分类层的BERT架构超越了最先进的作品。

二、结论

在本文中，我们探索了上下文嵌入的建模能力，从预先训练的BERT模型中受益于阿拉伯语ABSA任务的句子对输入。具体来说，我们研究了将BERT嵌入组件与简单的线性分类层相结合，并在阿拉伯酒店评论数据集上进行了广泛的实验。实验结果表明，尽管我们的模型很简单，但它超越了最先进的作品，并且对过度拟合具有鲁棒性。

三、模型架构

BERT使用双向能力在两个独立但相关的自然语言处理任务上进行了预训练:掩蔽语言建模和下一句预测。BERT有效地处理了理解自然语言最困难的方面——歧义，在分析接近人类的语言时可以达到很高的准确率。

一些对比实验：