什么是textRNN?有什么用途？结构是什么样子的？

Posted 2021-06-28 Data+Science+Insight

什么是textRNN? 有什么用途？结构是什么样子的？

 

通常，进行文本分类的主要方法有三种：

• 基于规则特征匹配的方法（如根据喜欢，讨厌等特殊词来评判情感，但准确率低，通常作为一种辅助判断的方法）
• 基于传统机器学习的方法（特征工程 + 分类算法）
• 给予深度学习的方法（词向量 + 神经网络）

RNN模型由于具有短期记忆功能，因此天然就比较适合处理自然语言等序列问题，尤其是引入门控机制后，能够解决长期依赖问题，捕获输入样本之间的长距离联系。

尽管RNN模型天然比较适合处理自然语言的问题，可是最近CNN模型有迎头赶上之势。为什么呢？从这次文本分类的任务中可以体会到，RNN模型在运行速度上丝毫不占优势，比CNN模型要慢几倍到十几倍。后一个时间步的输出依赖于前一个时间步的输出，无法进行并行处理，导致模型训练的速度慢，这是一个致命的弱点。而RNN模型引以为傲的能够捕获序列中的长距离依赖关系，已经不再是独门秘诀，因为CNN模型的卷积操作就类似于N-gram，可以捕获上下文关系，而且通过把构建更深层的卷积层，可以捕获更长距离的依赖关系。此外，Transformer横空出世，不仅能够进行并行处理，而且通过自注意力机制能够在任意距离的两个词之间建立依赖关系，大有后浪把前浪拍死在沙滩上的趋势。

另外，从模型预测的准确性来讲，CNN模型的准确性不比RNN模型低，甚至超过了RNN模型。

TextRNN模型依然分为四个模块：1、数据处理模块；2、模型构建模块；3、模型训