如何解决情感分析中的歧义?
Posted
技术标签:
【中文标题】如何解决情感分析中的歧义?【英文标题】:How to solve ambiguity in sentiment analysis? 【发布时间】:2018-10-24 19:12:43 【问题描述】:我对文本挖掘还很陌生,今天我正在挑战自己进行情绪分析。但是我在进行情感分析时遇到了一些问题。 在我的语言中,一个词可以有不同的含义。像“setan”的意思是:1)魔鬼2)诅咒词。如何解决情感分析中的这种歧义? 另外供大家参考,我使用的算法是朴素贝叶斯分类器。对于工具,我使用的是 RapidMiner。 我需要你的帮助。任何提示都会很棒。谢谢!
【问题讨论】:
【参考方案1】:在朴素贝叶斯分类器上训练您的数据将使模型为您尝试分类的每个不同类别的每个单词分配一个概率。在您的情况下,由于它是情绪分析,因此如果您将正面和负面作为两个类别,那么 setan 将有可能是正面和负面的。
记住这一点,如果一个词有多种含义,可以解释正面和负面情绪,我会说确保在您的数据中包含这两种实例,以便在训练模型时使用相应的概率将新文本分类为正类或负类。
在您的情况下,似乎 setan 的两个含义都有负面含义,这确实不应该成为问题。诸如“the”、“a”之类的词出现在正例和负例中,被称为停用词,应该被删除,因为它们并不真正计入分类。
在您的情况下,如果您尝试专门使用它们的含义来训练模型,您可以参考这篇论文https://pdfs.semanticscholar.org/fc01/b42df3077a512620456d8a2714951eccbd67.pdf。
【讨论】:
以上是关于如何解决情感分析中的歧义?的主要内容,如果未能解决你的问题,请参考以下文章