电影评论情感分析

Posted 2023-03-14 RedNoseBo

数据集

数据集下载地址

https://ai.stanford.edu/~amaas/data/sentiment/

解压压缩文件

功能函数

去除标签函数

html标签的正则表达式为：<[^>]+>

import re #引入正则表达式功能
def rm_tags(text):
    re_tag = re.compile(r\'<[^>]+>\') #定义正则表达式
    return re_tag.sub(\'\',text) #将text中符合正则表达式的替换掉

读取文件函数

文件目录结构

import os
def read_files(filetype): #filetype表示是训练数据还是测试数据
    path=\'D:\\\\Andaconda\\\\envs\\\\TensorflowEnv\\\\Lib\\\\site-packages\\\\keras\\\\datasets\\\\aclImdb\\\\\'
    file_list=[] #创建文件列表
    positive_path = path + filetype +"/pos/" #正面评价的文件目录为positive_path
    for f in os.listdir(positive_path): #将positive_path目录下所有的文件加入file_list
        file_list += [positive_path+f]
    negative_path = path + filetype +"/neg/" #负面的文件目录为negative_path
    for f in os.listdir(negative_path): #将negative_path目录下所有的文件加入file_list
        file_list += [negative_path+f]
    
    print(\'read\',filetype,\'files:\',len(file_list))#显示读取的filetype("train"或"test")目录下的文件个数
    all_labels = ( [1] * 12500 + [0] * 12500) #前部分产生12500项1，后部分产生12500项0，
    all_texts =[]
    for fi in file_list: #遍历文件列表
        with open(fi,encoding = \'utf8\') as file_input: #使用utf8格式打开一个文件，文件为file_input
            all_texts += [rm_tags(" ".join(file_input.readlines()))]#使用file_input_readlines()读取文件，直到读取完所有文字
            #用join连接所有文件内容，然后使用rm_tag删除tag，最后加入到all_tests中
    return all_labels,all_texts #返回标签

 使用os.listdir(path)可以读取到一个文件夹下所有的文件名。

python表达式中，[] * number 可以将前面的列表元素复制number次，两个列表之间用+号表示合并两个列表。

使用open(path,encoding=\'\') as file_input 可以以指定编码打开指定路径的文件，文件指针保存在file_input

file_input.readlines()表示读取整个文件，直到遇到文件结束符

file_input.readline()表示读取一行。

读取训练集和测试集

y_train,train_text= read_files("train")
y_test,test_text=read_files("test")

 将文字转换为数字列表

Tokenizer(num_words)可以建立指定单词个数的字典

Tokenizer().fit_on_texts(array)，这里list结构是(2500,)可以将所有单词按照出现的次数进行排序，取前面指定个数的单词。

token.texts_to_sequences(array)函数可以将array中的文字，根据建立好的字典，转换成数字列表

token = Tokenizer(num_words=2000)#建立2000个单词的字典
token.fit_on_texts(train_text) #按照每一个英文单词在影评中出现的次数排序，前2000个会列入字典

x_train_seq =token.texts_to_sequences(train_text) #将文字转换成数字列表
x_test_seq=token.texts_to_sequences(test_text)

 

由于每个片段的单词个数是不定的，所以数字的个数也是不定的，但是要输入到感知器中，必须要固定数字个数，所以要使用pad_sequences，截长补短，超过了指定个数，在前面补0，超过了指定个数，就截取前面的文字

from keras.utils import pad_sequences
x_train = pad_sequences(x_train_seq,maxlen=100) #将数字都填充为100长度，截长补短，短了在前面加0，长了就截取前面的
x_test=pad_sequences(x_test_seq,maxlen=100)

 

 

搭建多层感知器模型

导入模块

避免踩坑

Embedding层是从keras.layers中引入的，keras.layers.embedding中也有个Embedding层，但是引入之后不会自动建立输入层，调试麻烦。

from keras.models import Sequential
import keras
from keras.layers.core import Dense,Dropout,Activation,Flatten
from keras.layers import Input,Embedding

model=Sequential()
model.add(Embedding(output_dim=32,#将数字列表转换为32维向量
                    input_dim=2000, #输入有2000个项。
                   input_length=100))#数字列表的每一项有100个数字
model.add(Dropout(0.2))

model.add(Flatten()) #输入的每一项有100个数字，每一项转换为32维向量，平坦层也就一共有3200个神经元
model.add(Dense(units=256,#隐藏层有256个神经元，与平坦层全连接
               activation=\'relu\'))
model.add(Dropout(0.35))
model.add(Dense(units=1,#输出层只有1个神经元，输出1代表正面评价，0代表负面评价
               activation=\'sigmoid\'))

 Embedding(output_dim,input_dim,input_length)函数可以建立嵌入层，将所有数字列表，建立成一个指定维度的向量。

output_dim是输出单元个数，也就是要将词语建立成多少维向量。

input_dim是输入项的个数。

input_length是输入的每一项的长度。

网络结构

 

将标签集合转换为numpy数组

因为经过函数读取文件后，标签集是一个list集合，不是ndarray，不转换在训练时候无法自动分割验证集

import numpy as np
y_train=np.array(y_train) #因为y_train是list类型，要转换为ndarray类型，方便训练时候分割验证集，否则会报错
y_test=np.array(y_test)

 训练模型

model.compile(loss=\'binary_crossentropy\',
             optimizer=\'adam\',
             metrics=[\'accuracy\'])
train_history = model.fit(x_train,
                         y_train,
                         batch_size=100,
                         epochs=10,
                         verbose=2,
                         validation_split=0.2)

 评估模型

scores = model.evaluate(x_test,y_test)
scores[1]

 

预测测试数据

predict = model.predict(x_test) #np.armax（pred,axis=-1）返回值为最大值的索引，只能对多分类模型或者是以softmax作为输出层激活函数的二分类模型
#因为predict是保存了所属所有类别的概率，而np.argmax是返回概率最高的哪一个索引
predict=np.int64(predict>0.5)

要注意softmax函数和sigmoid函数的区别

softmax函数用于多分类问题。 softmax综合了所有输出值的归一化。得到的预测每一项包含预测为所有类别的概率的列表，用于多分类。

sigmoid函数用于多标签问题，选取多个标签作为正确答案。得到的预测值是一个概率，在0到1之间，用于二分类。

建立对比函数

SentimentDict=1:"正面的",0:"负面的"
def display_test_Sentiment(i):
    print(test_text[i])
    print(\'label真实值：\',SentimentDict[y_test[i]],
         \'预测结果：\',SentimentDict[prediction[i]])

输出真实值和标签值对比

改变预测集的形状。

prediction = predict.reshape(-1)

display_test_Sentiment(10)

自己输入数据测试

input_text="II wanted to LOVE THIS MOVIE WAITING so long to disappoint 1 or 2 songs fine but like 10 songs that\'s ridiculous KILLLED THE whole Movie for me ."
input_seq=token.texts_to_sequences([input_text]) #转换为数字列表
pad_input_seq=pad_sequences(input_seq,maxlen=100) #截长补短

获得预测结果并输出

predict_result=model.predict(pad_input_seq)
predict_result

 

本文来自博客园，作者：Laplace蒜子，转载请注明原文链接：https://www.cnblogs.com/RedNoseBo/p/17213841.html