自然语言处理 | 基于情感词典的文本情感极性分析

Posted 2021-04-12 数据挖掘

    情感极性分析是对带有感情色彩的主观性文本进行分析、处理、归纳和推理的过程。按照处理文本的类别不同，可分为基于新闻评论的情感分析和基于产品评论的情感分析。其中，前者多用于舆情监控和信息预测，后者可帮助用户了解某一产品在大众心目中的口碑。

    目前常见的情感极性分析方法主要是两种：基于情感词典的方法和基于机器学习的方法。本文介绍前者，后者在下期介绍。

 

    小编是通过情感打分的方式进行文本情感极性判断，score > 0判断为正向，score < 0判断为负向。

数据准备

1. 情感词典及对应分数

词典来源于BosonNLP数据下载的(http://bosonnlp.com/dev/resource)的情感词典，来源于社交媒体文本，所以词典适用于处理社交媒体的情感分析。

词典把所有常用词都打上了唯一分数有许多不足之处。其一，不带情感色彩的停用词会影响文本情感打分；其二，由于中文的博大精深，词性的多变成为了影响模型准确度的重要原因，一种情况是同一个词在不同的语境下可以是代表完全相反的情感意义，例如：

有车一族都用了这个宝贝，后果很严重 哦[偷笑][偷笑][偷笑]。

里面严重 表达的相反意思，甚至整句话一起表示相反意思。

另外，同一个词可作多种词性，那么情感分数也不应相同，例如：

这部电影真垃圾

垃圾分类

很明显在第一句中垃圾表现强烈的贬义，而在第二句中表示中性，单一评分对于这类问题的分类难免有失偏颇。

2. 否定词词典

否定词的出现将直接将句子情感转向相反的方向，而且通常效用是叠加的。常见的否定词：不、没、无、非、莫、弗、勿、毋、未、否、别、無、休、难道等。

 

3. 程度副词词典

既是通过打分的方式判断文本的情感正负，那么分数绝对值的大小则通常表示情感强弱。既涉及到程度强弱的问题，那么程度副词的引入就是势在必行的。词典可从《知网》情感分析用词语集（beta版）下载(http://www.keenage.com/download/sentiment.rar)。词典内数据格式共两列，第一列为程度副词，第二列是程度数值，> 1表示强化情感，< 1表示弱化情感。

 

4. 停用词词典

中科院计算所中文自然语言处理开放平台发布了有1208个停用词的中文停用词表(http://www.datatang.com/data/43894)，其他下载链接(http://www.hicode.cn/download/view-software-13784.html)。

 

数据预处理

分词和去除停用词。笔者用结巴分词，代码如下：

import jieba

stop_words = [w.strip() for w in open('stop_words.txt').readlines()]

def sent2word(sentence, stop_words=stop_words):

    words = jieba.cut(sentence)
    words = [w for w in words if w not in stop_words]

    return words

构建模型

1. 将词语分类并记录其位置

将句子中各类词分别存储并标注位置。

def classify_words(words):
    # 情感词
    sent_words = open('BosonNLP_sentiment_score.txt').readlines()
    sentiment_dict = {}
    for w in sent_words:
        word, score = w.strip().split(' ')
        sentiment_dict[word] = float(score)
    # 否定词
    not_words = [w.strip() for w in open('notDict.txt').readlines()]
    # 程度副词
    degree_words = open('degreeDict.txt').readlines()
    degree_dict = {}
    for w in degree_words:
        word, score = w.strip().split(',')
        degree_dict[word] = float(score)

    sen_word = {}
    not_word = {}
    degree_word = {}

    for index, word in enumerate(words):
        if word in sentiment_dict and word not in not_words and word not in degree_dict:
            sen_word[index] = sentiment_dict[word]
        elif word in not_words and word not in degree_dict:
            not_word[index] = -1
        elif word in degree_dict:
            degree_word[index] = degree_dict[word]
    return sen_word, not_word, degree_word

2. 计算句子得分

在此，简化的情感分数计算逻辑：所有情感词语组的分数之和

定义一个情感词语组：两情感词之间的所有否定词和程度副词与这两情感词中的后一情感词构成一个情感词组，即not_word + degree_word + sent_word，例如:

不是很交好。

其中不是为否定词，很为程度副词，交好为情感词，那么这个情感词语组的分数为：

score = (-1) ^ 1 * 1.25 * 0.747127733968

其中1指的是一个否定词，1.25是程度副词的数值，0.747127733968为交好的情感分数。

代码如下：

 

def score_sent(sen_word, not_word, degree_word, words):
    W = 1
    score = 0
    # 存所有情感词的位置的列表
    sen_locs = sen_word.keys()
    not_locs = not_word.keys()
    degree_locs = degree_word.keys()
    senloc = -1

    # 遍历句中所有单词words，i为单词绝对位置
    for i in range(0, len(words)):
        # 如果该词为情感词
        if i in sen_locs:
            # loc为情感词位置列表的序号
            senloc += 1
            # 直接添加该情感词分数
            score += W * float(sen_word[i])

            if senloc < len(sen_locs) - 1:
                # 判断该情感词与下一情感词之间是否有否定词或程度副词
                # j为绝对位置
                for j in range(sen_locs[senloc], sen_locs[senloc + 1]):
                    # 如果有否定词
                    if j in not_locs:
                        W *= -1
                    # 如果有程度副词
                    elif j in degree_locs:
                        W *= degree_word[j]

    return score

模型评价

其中大多数文本被判为正向文本符合实际情况，且绝大多数文本的情感得分的绝对值在10以内，这是因为笔者在计算一个文本的情感得分时，以句号作为一句话结束的标志，在一句话内，情感词语组的分数累加，如若一个文本中含有多句话时，则取其所有句子情感得分的平均值。

 

然而，这个模型的缺点与局限性也非常明显：

首先，段落的得分是其所有句子得分的平均值，这一方法并不符合实际情况。正如文章中先后段落有重要性大小之分，一个段落中前后句子也同样有重要性的差异。

其次，有一类文本使用贬义词来表示正向意义，这类情况常出现于文本中，如前文的那个例子，上图中得分小于-10的几个文本都是与这类情况相似，这也许需要深度学习的方法才能有效解决这类问题，普通机器学习方法也是很难的。

对于正负向文本的判断，该算法忽略了很多其他的否定词、程度副词和情感词搭配的情况；用于判断情感强弱也过于简单。

本文来源：http://www.jianshu.com/p/4cfcf1610a73?nomobile=yes