使用 tensorflow 理解 LSTM 模型进行情感分析

Posted 2023-02-23

【中文标题】使用 tensorflow 理解 LSTM 模型进行情感分析

【英文标题】：Understanding LSTM model using tensorflow for sentiment analysis

【发布时间】：2017-11-07 06:06:23

【问题描述】：

我正在尝试学习使用 Tensorflow 进行情感分析的 LSTM 模型，我已经通过了LSTM model。

以下代码 (create_sentiment_featuresets.py) 从 5000 个肯定句和 5000 个否定句生成词典。

import nltk
from nltk.tokenize import word_tokenize
import numpy as np
import random
from collections import Counter
from nltk.stem import WordNetLemmatizer

lemmatizer = WordNetLemmatizer()

def create_lexicon(pos, neg):
    lexicon = []
    with open(pos, 'r') as f:
        contents = f.readlines()
        for l in contents[:len(contents)]:
            l= l.decode('utf-8')
            all_words = word_tokenize(l)
            lexicon += list(all_words)
    f.close()

    with open(neg, 'r') as f:
        contents = f.readlines()    
        for l in contents[:len(contents)]:
            l= l.decode('utf-8')
            all_words = word_tokenize(l)
            lexicon += list(all_words)
    f.close()

    lexicon = [lemmatizer.lemmatize(i) for i in lexicon]
    w_counts = Counter(lexicon)
    l2 = []
    for w in w_counts:
        if 1000 > w_counts[w] > 50:
            l2.append(w)
    print("Lexicon length create_lexicon: ",len(lexicon))
    return l2

def sample_handling(sample, lexicon, classification):
    featureset = []
    print("Lexicon length Sample handling: ",len(lexicon))
    with open(sample, 'r') as f:
        contents = f.readlines()
        for l in contents[:len(contents)]:
            l= l.decode('utf-8')
            current_words = word_tokenize(l.lower())
            current_words= [lemmatizer.lemmatize(i) for i in current_words]
            features = np.zeros(len(lexicon))
            for word in current_words:
                if word.lower() in lexicon:
                    index_value = lexicon.index(word.lower())
                    features[index_value] +=1
            features = list(features)
            featureset.append([features, classification])
    f.close()
    print("Feature SET------")
    print(len(featureset))
    return featureset

def create_feature_sets_and_labels(pos, neg, test_size = 0.1):
    global m_lexicon
    m_lexicon = create_lexicon(pos, neg)
    features = []
    features += sample_handling(pos, m_lexicon, [1,0])
    features += sample_handling(neg, m_lexicon, [0,1])
    random.shuffle(features)
    features = np.array(features)

    testing_size = int(test_size * len(features))

    train_x = list(features[:,0][:-testing_size])
    train_y = list(features[:,1][:-testing_size])
    test_x = list(features[:,0][-testing_size:])
    test_y = list(features[:,1][-testing_size:])
    return train_x, train_y, test_x, test_y

def get_lexicon():
    global m_lexicon
    return m_lexicon

以下代码 (sentiment_analysis.py) 用于使用简单的神经网络模型进行情感分析，并且运行良好

from create_sentiment_featuresets import create_feature_sets_and_labels
from create_sentiment_featuresets import get_lexicon
import tensorflow as tf
import numpy as np
# extras for testing
from nltk.tokenize import word_tokenize 
from nltk.stem import WordNetLemmatizer
lemmatizer = WordNetLemmatizer()
#- end extras

train_x, train_y, test_x, test_y = create_feature_sets_and_labels('pos.txt', 'neg.txt')


# pt A-------------

n_nodes_hl1 = 1500
n_nodes_hl2 = 1500
n_nodes_hl3 = 1500

n_classes = 2
batch_size = 100
hm_epochs = 10

x = tf.placeholder(tf.float32)
y = tf.placeholder(tf.float32)

hidden_1_layer = 'f_fum': n_nodes_hl1,
                'weight': tf.Variable(tf.random_normal([len(train_x[0]), n_nodes_hl1])),
                'bias': tf.Variable(tf.random_normal([n_nodes_hl1]))
hidden_2_layer = 'f_fum': n_nodes_hl2,
                'weight': tf.Variable(tf.random_normal([n_nodes_hl1, n_nodes_hl2])),
                'bias': tf.Variable(tf.random_normal([n_nodes_hl2]))
hidden_3_layer = 'f_fum': n_nodes_hl3,
                'weight': tf.Variable(tf.random_normal([n_nodes_hl2, n_nodes_hl3])),
                'bias': tf.Variable(tf.random_normal([n_nodes_hl3]))
output_layer = 'f_fum': None,
                'weight': tf.Variable(tf.random_normal([n_nodes_hl3, n_classes])),
                'bias': tf.Variable(tf.random_normal([n_classes]))


def nueral_network_model(data):
    l1 = tf.add(tf.matmul(data, hidden_1_layer['weight']), hidden_1_layer['bias'])
    l1 = tf.nn.relu(l1)
    l2 = tf.add(tf.matmul(l1, hidden_2_layer['weight']), hidden_2_layer['bias'])
    l2 = tf.nn.relu(l2)
    l3 = tf.add(tf.matmul(l2, hidden_3_layer['weight']), hidden_3_layer['bias'])
    l3 = tf.nn.relu(l3)
    output = tf.matmul(l3, output_layer['weight']) + output_layer['bias']
    return output

# pt B--------------

def train_neural_network(x):
    prediction = nueral_network_model(x)
    cost = tf.reduce_mean( tf.nn.softmax_cross_entropy_with_logits(logits= prediction, labels= y))
    optimizer = tf.train.AdamOptimizer(learning_rate= 0.001).minimize(cost)

    with tf.Session() as sess:
        sess.run(tf.global_variables_initializer())
        for epoch in range(hm_epochs):
            epoch_loss = 0
            i = 0
            while i < len(train_x):
                start = i
                end = i+ batch_size
                batch_x = np.array(train_x[start: end])
                batch_y = np.array(train_y[start: end])
                _, c = sess.run([optimizer, cost], feed_dict= x: batch_x, y: batch_y)
                epoch_loss += c
                i+= batch_size
            print('Epoch', epoch+ 1, 'completed out of ', hm_epochs, 'loss:', epoch_loss)

        correct= tf.equal(tf.argmax(prediction, 1), tf.argmax(y, 1))
        accuracy = tf.reduce_mean(tf.cast(correct, 'float'))
        print('Accuracy:', accuracy.eval(x:test_x, y:test_y))

        # testing --------------
        m_lexicon= get_lexicon()
        print('Lexicon length: ',len(m_lexicon))        
        input_data= "David likes to go out with Kary"       
        current_words= word_tokenize(input_data.lower())
        current_words = [lemmatizer.lemmatize(i) for i in current_words]
        features = np.zeros(len(m_lexicon))
        for word in current_words:
            if word.lower() in m_lexicon:
                index_value = m_lexicon.index(word.lower())
                features[index_value] +=1

        features = np.array(list(features)).reshape(1,-1)
        print('features length: ',len(features))
        result = sess.run(tf.argmax(prediction.eval(feed_dict=x:features), 1))
        print(prediction.eval(feed_dict=x:features))
        if result[0] == 0:
            print('Positive: ', input_data)
        elif result[0] == 1:
            print('Negative: ', input_data)

train_neural_network(x)

我正在尝试为 LSTM 模型修改上述 (sentiment_analysis.py) 在阅读了 mnist 图像数据集上用于 LSTM 的RNN w/ LSTM cell example in TensorFlow and Python 之后：

通过许多命中和运行轨迹，我能够获得以下运行代码(sentiment_demo_lstm.py)：

import tensorflow as tf
from tensorflow.contrib import rnn
from create_sentiment_featuresets import create_feature_sets_and_labels
from create_sentiment_featuresets import get_lexicon

import numpy as np

# extras for testing
from nltk.tokenize import word_tokenize 
from nltk.stem import WordNetLemmatizer
lemmatizer = WordNetLemmatizer()
#- end extras

train_x, train_y, test_x, test_y = create_feature_sets_and_labels('pos.txt', 'neg.txt')

n_steps= 100
input_vec_size= len(train_x[0])
hm_epochs = 8
n_classes = 2
batch_size = 128
n_hidden = 128

x = tf.placeholder('float', [None, input_vec_size, 1])
y = tf.placeholder('float')

def recurrent_neural_network(x):
    layer = 'weights': tf.Variable(tf.random_normal([n_hidden, n_classes])),   # hidden_layer, n_classes
            'biases': tf.Variable(tf.random_normal([n_classes]))

    h_layer = 'weights': tf.Variable(tf.random_normal([1, n_hidden])), # hidden_layer, n_classes
            'biases': tf.Variable(tf.random_normal([n_hidden], mean = 1.0))

    x = tf.transpose(x, [1,0,2])
    x = tf.reshape(x, [-1, 1])
    x= tf.nn.relu(tf.matmul(x, h_layer['weights']) + h_layer['biases'])

    x = tf.split(x, input_vec_size, 0)

    lstm_cell = rnn.BasicLSTMCell(n_hidden, state_is_tuple=True)
    outputs, states = rnn.static_rnn(lstm_cell, x, dtype= tf.float32)
    output = tf.matmul(outputs[-1], layer['weights']) + layer['biases']

    return output

def train_neural_network(x):
    prediction = recurrent_neural_network(x)
    cost = tf.reduce_mean( tf.nn.softmax_cross_entropy_with_logits(logits= prediction, labels= y))
    optimizer = tf.train.AdamOptimizer(learning_rate= 0.001).minimize(cost)

    with tf.Session() as sess:
        sess.run(tf.global_variables_initializer())

        for epoch in range(hm_epochs):
            epoch_loss = 0
            i = 0
            while (i+ batch_size) < len(train_x):
                start = i
                end = i+ batch_size
                batch_x = np.array(train_x[start: end])
                batch_y = np.array(train_y[start: end])
                batch_x = batch_x.reshape(batch_size ,input_vec_size, 1)
                _, c = sess.run([optimizer, cost], feed_dict= x: batch_x, y: batch_y)
                epoch_loss += c
                i+= batch_size
            print('--------Epoch', epoch+ 1, 'completed out of ', hm_epochs, 'loss:', epoch_loss)

        correct= tf.equal(tf.argmax(prediction, 1), tf.argmax(y, 1))
        accuracy = tf.reduce_mean(tf.cast(correct, 'float'))

        print('Accuracy:', accuracy.eval(x:np.array(test_x).reshape(-1, input_vec_size, 1), y:test_y))

        # testing --------------
        m_lexicon= get_lexicon()
        print('Lexicon length: ',len(m_lexicon))
        input_data= "Mary does not like pizza"  #"he seems to to be healthy today"  #"David likes to go out with Kary"

        current_words= word_tokenize(input_data.lower())
        current_words = [lemmatizer.lemmatize(i) for i in current_words]
        features = np.zeros(len(m_lexicon))
        for word in current_words:
            if word.lower() in m_lexicon:
                index_value = m_lexicon.index(word.lower())
                features[index_value] +=1
        features = np.array(list(features)).reshape(-1, input_vec_size, 1)
        print('features length: ',len(features))

        result = sess.run(tf.argmax(prediction.eval(feed_dict=x:features), 1))
        print('RESULT: ', result)
        print(prediction.eval(feed_dict=x:features))
        if result[0] == 0:
            print('Positive: ', input_data)
        elif result[0] == 1:
            print('Negative: ', input_data)

train_neural_network(x)

输出

print(train_x[0])
[0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]

print(train_y[0])
[0, 1]

len(train_x)= 9596, len(train_x[0]) = 423 意思是train_x 是一个9596x423 的列表？

虽然我现在有一个正在运行的代码，但我仍然有很多疑问。

在sentiment_demo_lstm中，我无法理解以下部分

x = tf.transpose(x, [1,0,2])
x = tf.reshape(x, [-1, 1])
x = tf.split(x, input_vec_size, 0)

我打印了以下形状：

x = tf.placeholder('float', [None, input_vec_size, 1]) ==> TensorShape([Dimension(None), Dimension(423), Dimension(1)]))
x = tf.transpose(x, [1,0,2]) ==> TensorShape([Dimension(423), Dimension(None), Dimension(1)]))
x = tf.reshape(x, [-1, 1]) ==> TensorShape([Dimension(None), Dimension(1)]))
x = tf.split(x, input_vec_size, 0) ==> ?

这里我取隐藏层数为128，是否需要与输入数相同，即len(train_x)= 9596

值 1

x = tf.placeholder('float', [None, input_vec_size, 1])

和

x = tf.reshape(x, [-1, 1])

是因为train_x[0] 是 428x1 吗？

以下是为了匹配占位符

batch_x = np.array(train_x[start: end]) ==> (128, 423)
batch_x = batch_x.reshape(batch_size ,input_vec_size, 1) ==> (128, 423, 1)

x = tf.placeholder('float', [None, input_vec_size, 1]) 尺寸，对吗？

如果我修改了代码：

while (i+ batch_size) < len(train_x):

作为

while i < len(train_x):

我收到以下错误：

Traceback (most recent call last):
  File "sentiment_demo_lstm.py", line 131, in <module>
    train_neural_network(x)
  File "sentiment_demo_lstm.py", line 86, in train_neural_network
    batch_x = batch_x.reshape(batch_size ,input_vec_size, 1)
ValueError: cannot reshape array of size 52452 into shape (128,423,1)

=> 我不能在训练时包含最后 124 条记录/特征集？

【问题讨论】：

您目前使用词袋模型对句子进行编码，LSTM 需要时间维度（因此每个词的特征向量或 的形状）才能使其工作 -通常你可以通过嵌入层来完成这项工作。看看 Keras 中的示例，它基本上可以满足您的需求 (github.com/fchollet/keras/blob/master/examples/imdb_lstm.py)。

这里有很多问题。将这个问题分开可能会很好。

【参考方案1】：

这是加载的问题。让我试着用简单的英语来隐藏所有复杂的内部细节：

一个简单的 Unrolled LSTM 模型，包含 3 个步骤，如下所示。每个 LSTM 单元接受一个输入向量和前一个 LSTM 单元的隐藏输出向量，并为下一个 LSTM 单元生成一个输出向量和隐藏输出。

同一模型的简明表示如下所示。

LSTM 模型是序列到序列模型，即，它们用于解决必须用另一个序列标记序列时的问题，例如句子中每个单词的 POS 标记或 NER 标记。

您似乎将它用于分类问题。使用 LSTM 模型进行分类有两种可能的方法

1) 获取所有状态的输出（在我们的示例中为 O1、O2 和 O3）并应用 softmax 层，softmax 层输出大小等于类数（在您的情况下为 2）

2) 获取最后一个状态 (O3) 的输出并对其应用 softmax 层。 （这就是您在 cod 中所做的。输出 [-1] 返回输出中的最后一行）

所以我们对 softmax 输出的误差进行反向传播（Backpropagation Through Time - BTT）。

使用 Tensorflow 来实现，让我们看看 LSTM 模型的输入和输出是什么。

每个 LSTM 都有一个输入，但我们有 3 个这样的 LSTM 单元，所以输入（X 占位符）的大小应该是（输入大小 * 时间步长）。但是我们不计算单个输入的误差和它的 BTT，而是我们对一批输入 - 输出组合进行计算。所以 LSTM 的输入将是 (batchsize * inputsize * time step)。

一个 LSTM 单元是用隐藏状态的大小定义的。 LSTM 单元的输出大小和隐藏输出向量将与隐藏状态的大小相同（检查 LSTM 内部计算以了解原因！）。然后，我们使用这些 LSTM 单元的列表定义一个 LSTM 模型，其中列表的大小将等于模型的展开次数。因此，我们定义了要完成的展开次数和每次展开期间的输入大小。

我跳过了很多东西，比如如何处理可变长度序列、序列到序列的错误计算、LSTM 如何计算输出和隐藏输出等。

在您的实现中，您在每个 LSTM 单元的输入之前应用了一个 relu 层。我不明白你为什么这样做，但我猜你这样做是为了将你的输入大小映射到 LSTM 输入大小的大小。

回答你的问题：

x 是大小为 [None, input_vec_size, 1] 的占位符（张量/矩阵/ndarray）。即它可以采用可变数量的行，但每一行都有 input_vec_size 列并且每个元素是一个向量的大小为 1。通常占位符在行中定义为“None”，以便我们可以改变输入的批量大小。

让我们说 input_vec_size = 3

您正在传递一个大小为 [128 * 3 * 1] 的 ndarray

x = tf.transpose(x, [1,0,2]) --> [3*128*1]

x = tf.reshape(x, [-1, 1]) --> [384*1]

h_layer['weights'] --> [1, 128]

x= tf.nn.relu(tf.matmul(x, h_layer['weights']) + h_layer['biases']) --> [384 * 128]

没有输入大小，隐藏大小不同。 LSTM 对输入和前一个隐藏输出执行一组操作，并给定一个输出和下一个隐藏输出，它们的大小都是隐藏大小。

x = tf.placeholder('float', [None, input_vec_size, 1])

它定义了一个张量或 ndarray 或可变数量的行，每一行都有 input_vec_size 列，每个值是一个单值向量。

x = tf.reshape(x, [-1, 1]) --> 将输入 x 重塑为大小固定为 1 列和任意行数的矩阵。

batch_x = batch_x.reshape(batch_size ,input_vec_size, 1)

如果 batch_x 中的值数 != batch_size*input_vec_size*1，batch_x.reshape 将失败。这可能是最后一批的情况，因为 len(train_x) 可能不是 batch_size 的倍数，导致最后一批未完全填充。

你可以通过使用

来避免这个问题

batch_x = batch_x.reshape(-1 ,input_vec_size, 1)

但我仍然不确定你为什么在输入层前面使用 Relu。

您正在对最后一个单元格的输出应用逻辑回归，这很好。

您可以查看我的玩具示例，它是一个使用双向 LSTM 的分类器，用于对序列是增加、减少还是混合进行分类。

Toy sequence_classifier using LSTM in Tensorflow

【讨论】：

能否请您告诉我有关 x = tf.split(x, input_vec_size, 0) 的信息。另外，您能否向我推荐任何参考资料或论文或教程，以彻底了解 LSTM 模型及其在 tensorflow 中的分类实现

x = tf.split(x, input_vec_size, 0) --> [3 个张量，每个大小为 384/3 * 1] 即在第 0 维切割输入张量（在本例中为逐行）成 3，因此每个拆分张量的大小为 384/3 * 1。您可以在我在上述答案中给出的链接中从头开始找到一个非常简单的实现。或者您可以点击此链接github.com/aymericdamien/TensorFlow-Examples 并在“自然语言处理”部分下您将有一些很好的实现，但他们使用 tflearn，这是 tensorflow 中的一个抽象

在sentiment_analysis.py中我们可以定义每个隐藏层中的节点数，我们如何在LSTM模型中也定义相同的？