第17篇TextCNN

Posted 2021-11-01 AI浩

摘要

我们报告了在预训练词向量之上训练的卷积神经网络 (CNN) 的一系列实验，用于句子级分类任务。 我们表明，具有很少超参数调整和静态向量的简单 CNN 在多个基准测试中取得了出色的结果。 通过微调学习特定于任务的向量可进一步提高性能。 我们还建议对架构进行简单的修改，以允许使用特定于任务的向量和静态向量。 此处讨论的 CNN 模型在 7 个任务中的 4 个任务上改进了现有技术，其中包括情感分析和问题分类。

1 简介

近年来，深度学习模型在计算机视觉（Krizhevsky 等，2012）和语音识别（Graves 等，2013）方面取得了显著成果。 在自然语言处理中，深度学习方法的大部分工作都涉及通过神经语言模型学习词向量表示（Bengio 等人，2003 年；Yih 等人，2011 年；Mikolov 等人，2013 年）并在 学习用于分类的词向量（Collobert et al., 2011）。 单词向量，其中单词从稀疏的 1-of-V 编码（这里 V 是词汇量大小）通过隐藏层投影到较低维度的向量空间，本质上是特征提取器，在它们的维度上对单词的语义特征进行编码。 在这样的密集表示中，语义接近的词在低维向量空间中同样接近 - 在欧几里得或余弦距离上。

卷积神经网络 (CNN) 使用带有卷积过滤器的层，这些过滤器应用于局部特征（LeCun 等人，1998 年）。 CNN 模型最初是为计算机视觉而发明的，后来被证明对 NLP 有效，并在语义解析（Yih 等人，2014 年）、搜索查询检索（Shen 等人，2