论文泛读104使用上下文词表示进行语义框架归纳的动词意义聚类

Posted 2021-06-15 及时行樂_

贴一下汇总贴：论文阅读记录

论文链接：《Verb Sense Clustering using Contextualized Word Representations for Semantic Frame Induction》

一、摘要

语境化的词表示已被证明对各种自然语言处理任务很有用。然而，尚不清楚这些表示可以在多大程度上覆盖手工编码的语义信息，例如语义框架，这些语义框架指定了与谓词相关的参数的语义角色。在本文中，我们专注于根据上下文唤起不同框架的动词，我们研究了上下文化的词表示如何识别同一动词引起的框架差异。我们还探讨了哪些类型的表示适合语义框架归纳。在我们的实验中，我们比较了两种英语框架语义资源FrameNet和PropBank的七个不同的上下文化词表示形式。我们证明了几个上下文化的词表示，尤其是 BERT 及其变体，对于语义框架归纳具有相当大的信息量。此外，我们检查了动词的上下文表示可以估计动词可以唤起的帧数的程度。

二、结论

我们研究了语境化的单词表征在多大程度上可以识别同一动词引起的框架差异。具体来说，我们关注的是引发多个框架的动词，并基于目标动词的上下文化单词表示来执行聚类。我们计算了生成的聚类和人工标注的框架之间的匹配率，并比较了七个上下文化的单词表示:ELMo、BERTBASE、BERTLARGE、RoBERTa、ALBERT、GPT-2和XLNet。我们发现BERT、RoBERTa、XLNet和ALBERT在区分同一动词引起的框架差异方面表现出色。我们还发现，通过调整BIC的惩罚项，我们可以以超过50%的精度估计帧数。

在这篇论文中，我们着重于每个动词所唤起的框架的差异。也就是我们分别分析每个动词。然而，在FrameNet中，框架由几个动词共享。例如，动词“支持”、“证明”和“证明”可以唤起相同的证据框架。为了归纳框架网络风格的框架，我们需要研究在多大程度上上下文化的单词表示比动词捕捉框架。

语义框架归纳不仅需要区分同一动词所引发的框架差异，还需要根据语义角色对其论点进行分组。例如，如果一个句子包含一个能唤起EVIDENCE框架的动词，那么这个句子就包含了所声明的内容以及支持该声明作为其论据的内容。参数的上下文化单词表示对于按相同角色对参数进行分组也很有用。

此外，我们只将动词视为引发框架的单词，但我们需要检查我们是否可以对具有其他引发框架的词性的单词(如名词)获得类似的结果。这些研究有望使我们更接近自动构建高质量语义框架资源的目标。它们还可以为资源不足的语言或特定领域引入语义框架，因为上下文化的单词表示不需要人工注释的文本。

三、模型框架

关注在框架语义资源中唤起一个以上框架的动词，并获得它们的语境化单词表示。然后我们应用聚类并评估生成的聚类和人工标注的帧的匹配程度。

在我们的研究中，我们对每个在框架语义资源中唤起一个以上框架的目标动词遵循以下程序。

• 1.获取框架语义资源中框架注释例句集合中目标动词的语境化单词表示。
• 2.通过使用高斯混合模型将聚类应用于它们的上下文化单词表示。此时，模型的聚类数等于数据集的帧数。
• 3.在生成的聚类和人工标注的帧之间找到一个映射，使匹配的总数最大化。我们使用匹配率作为评估指标。