使用Keras对LoutM进行Youtube评论的情感分析

Posted

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了使用Keras对LoutM进行Youtube评论的情感分析相关的知识,希望对你有一定的参考价值。

我的目标是通过使用LSTM缓慢缩放来弄脏手。然而,在现阶段的初始阶段,我正在尝试使用Keras实现Youtube LSTM情绪分析器。在搜索可用于帮助我的资源时,我遇到了IMDB情绪分析数据集和LSTM代码。虽然它适用于较长输入,但较短的输入效果不佳。代码在https://github.com/keras-team/keras/blob/master/examples/imdb_lstm.py

保存Keras模型并使用此代码为此数据构建预测模块

 model = load_model('ytsentanalysis.h5')
 print("Enter text")
 text=input()
 list=text_to_word_sequence(text,filters='!"#$%&()*+,-./:;<=>?@[\]^_`{|}~	
',lower=True,split=" ")
 print(list)
 word_index = imdb.get_word_index()
 x_test = [[word_index[w] for w in list if w in word_index]]
 prediction=model.predict(x_test)
 print(prediction)

我提供了各种各样的输入,例如“糟糕的视频”,“奇妙的惊人”或“好极了”,“可怕的糟糕”。对于同样糟糕的主题输入,输出范围从接近1开始,我看到一个好的主题输入的0.3%预测。我预计它应该接近1表示正数,接近0表示负数。

为了解决这个问题,我在训练和预测时限制了maxlen = 20,因为Youtube注释要短得多,同样的代码再次运行。这次预测期间的概率都是e ^插入大的负功率

难道我无法适应和重用现有数据集吗?如果没有,因为标记的Youtube评论数据集不是那么广泛,我是否应该使用像Twitter评论数据集这样的东西,而代价是在Keras中失去预先构建的IMDB输入模块的效率?有什么办法可以看到这些模块的代码吗?

提前感谢您回答所有这些问题。

答案

IMDb数据集和YouTube评论之间的差异是完全不同的,因为与评论和推文相比,电影评论相当长且广泛。

在公开可用的数据集上训练模型可能更有帮助(例如推文,可能更符合YT评论)。然后,您可以使用预先训练的模型并在YT注释数据集上对其进行微调。利用一些预先训练的单词嵌入也很有用,例如GloVe和word2vec。

或者,您可以考虑使用NLTK来分析注释。

以上是关于使用Keras对LoutM进行Youtube评论的情感分析的主要内容,如果未能解决你的问题,请参考以下文章

使用youtube API和node.js添加youtube评论

使用 Keras 进行情感分类器训练

ValueError:尝试对 IMDB 评论进行分类时,logits 和标签必须具有相同的形状((无,1)与(无,10000))

如果进行评论时候多思考一遍内容,是否网暴发生的可能性就会降低?

人工智能--使用神经网络分析电影评论

人工智能--使用神经网络分析电影评论