研究表情包做情感分析，最难辨认的情绪竟然是它！

Posted 2021-07-11 程序员的店小二

本文转载自 新智元

有时候发了一条微博，评论区回复只有一个表情包，你真的明白这个背后的含义吗？台湾学者研究了三万条推特，最后竟然发现大部分道歉的情感竟然都是有套路的。

自然语言最美妙和最可恶的地方都在于它是有歧义的，例如同样一句话，以不同的语气说出来，可能是完全不同的含义。

例如使用微信打字交流，或者发一条朋友圈，朋友们错误地领会了你的感受，那可真是太尴尬了。

但是当你加入了表情包，就相当于说话中带了语气和表情，那文本的情绪就很好判断了。

显然，研究文本和表情包之间的关系，也属于自然语言处理(NLP)领域。

来自台湾的研究人员提供了一种在社交媒体论坛和语言研究数据集上进行情绪分析的新方法——通过分类和标记动画 gif 来呼应发送的文本。研究论文已经上传到arxiv上。

由台湾国立清华大学的 Boaz Shmueli 领导的研究人员，使用 Twitter 内置的 gif 表情包数据库作为一种指数来量化用户反应的情感状态，避免了一个情绪检测模型需要应对多种语言的情景，同时还能判断用户是否是真的在讽刺，或从模糊、过于简短的文本中识别核心情绪的类型。

论文中将 gif 表情包的使用描述作为一种新型的标签，这些类型在 NLP 情感数据集中还不存在，并指出现有的数据集要么使用情感的维度模型（例如表达的情感持续时间、反馈结果等维度进行分析），要么使用离散情感模型（情感标签），这两种模型都不能揭示文本内在真实情感的状态。

例如一个推文下的回复 gif，可以揭示推文下的真实情感。暖男大白在线安慰。

论文中同时发布了一个包含30,000条讽刺推文的数据集，其中包含了 GIF 的反应。

这种方法为 NLP 提供了一种与其他现有文献不同的区别: 一种区分感知情绪(读者从文本中识别出来的情绪)和诱导情绪(读者对文本的反应体验到的情绪)的方法。

对于一个想要分享自己痛苦情绪状态的帖子的安慰回复来说，当这个回复中没有文本只有一个表情来说，一个适当的 GIF 是有意义的简化（无需语言表达），并且能表达出明确的意图，这些研究集中在 GIF 回复的类型。

例如，像“这太残忍了，伙计”、“这是一种耻辱”或“ Awww”这样的回复反应，包含了潜在的、模糊的意图，但是 Twitter 上有数百个拥抱类的 gif ，某些拥抱可以进一步解释表达者的含义，更明确的解释空间。

尽管如此，在任何单一的gif 回应中，像大白的拥抱，还有许多其他的情绪或观点指示图，包括多种类型的影响状态，还包括对回复者和原始推文之间关系的家庭假设的立场。

这样看来，拥抱也是十分复杂的行为。

ReactionGIF 数据集来源于 Twitter 上每个可用反应类别的前100个 gif，形成了一个包含4300张动画图像的数据库。

如果一个 GIF 出现在不止一个类别中，那么在图形用户界面中位置更靠前的表情，具有更高的权重。

出现在多个类别的图像由反应相似度（reaction similarity）来度量哪个情感类别更加匹配。

然后利用层次聚类和平均链接发现情绪和表情之间的密切关系。

数据集是通过对30000条推文应用这种方法生成和标记的。

由于Reaction类别具有丰富的情感信号，允许研究人员在积极和消极反应类别集群的基础上，增加额外的情感标签数据集，并添加情感标签与专门的反应-情感映射范式，基于三个人类评估者对样本推文的少数服从多数来找到真正的情感类别。

雅虎和华尔街罗彻斯特大学之前的工作处理 gif 的标注，但没有引入这篇论文中讨论的推特中包含的文本，也没有任何情感类别，纯粹是语义上的分析。

来自台湾的研究人员通过4种方法对数据集进行了评估: RoBERTa，卷积神经网络(CNN) 和GloVe、逻辑回归分类器，以及简单多分类器。

结果清楚地表明了每一类的置信度的权重都很高，认可、赞同和同情最容易辨认(也最具代表性) ，而道歉最难评估，也许因为这包括一些挖苦的情绪。

RoBERTa模型在情感反应预测、情绪诱导预测和情绪诱导预测三种评价方法中得到的测试平均值最高。

研究人员观察到，在基于 nlp 的情绪和情绪分析中，识别诱导情绪是最具挑战性的任务之一，并且使用反应 gif 作为代理为以后的项目提供了收集大量廉价的、自然产生的、高质量的情感标签的可能性。

尽管这项研究专注于嵌入到 Twitter 用户体验中的一个非常特殊的 gif 位置，但是这项研究认为这种方法可以推广到其他的社交媒体平台，以及即时通讯平台，并且有可能在情感识别和多模式情感检测等领域使用。