CNN卷积神经网络

Posted 2020-09-07 TopCoderのZeze

什么是卷积神经网络

 　　卷积神经网络是一种特殊的、简化的深层神经网络模型，它的每个卷积层都是由多个卷积滤波器组成。它最先由lecun在LeNet[40]中提出，网络结构如下图所示。在cnn中，图像的一小部分（局部感受区域）作为层级结构的最低层的输入，信息再依次传输到不同的层，每层通过多个卷积滤波器去获得观测数据的最显著的特征。

　　卷积神经网络中的每一个特征提取层（卷积层）都紧跟着一个用来求局部平均与二次提取的计算层（pooling层），这种特有的两次特征提取结构使网络在识别时对输入样本有较高的畸变容忍能力。如下图所示，就是一个完整的卷积过程。

 

它的特殊性体现在两点：

(1)局部感受野(receptive field)，cnn的神经元间的连接是非全连接的；

(2)同一层中同一个卷积滤波器的权重是共享的（即相同的）。

局部感受野和权重共享这两个特点，使cnn网络结构更类似于生物神经网络，降低了网络模型的复杂度，减少了神经网络需要训练的参数的个数。

CNN在文本上的应用

　　卷积神经网络在image classify和image detect上得到诸多成功的应用，后文将再详细阐述。但除了图片外，它在文本分析上也取得一些成功的应用。

　　基于CNN，可以用来做文本分类，情感分析，本体分类等。传统文本分类等任务，一般基于bag of words或者基于word的特征提取，此类方法一般需要领域知识和人工特征。利用CNN做，方法也类似，但一般都是基于raw text，CNN模型的输入可以是word series，可以是word vector，还可以是单纯的字符。比起传统方法，CNN不需要过多的人工特征。

　　将word series作为输入，利用CNN做文本分类。如下图所示，该CNN很简单，共分四层，

　　第一层是词向量层，doc中的每个词，都将其映射到词向量空间，假设词向量为k维，则n个词映射后，相当于生成一张n*k维的图像；

　　第二层是卷积层，多个滤波器作用于词向量层，不同滤波器生成不同的feature map；

　　第三层是pooling层，取每个feature map的最大值，这样操作可以处理变长文档，因为第三层输出只依赖于滤波器的个数；

　　第四层是一个全连接的softmax层，输出是每个类目的概率。

　　除此之外，输入层可以有两个channel，其中一个channel采用预先利用word2vec训练好的词向量，另一个channel的词向量可以通过backpropagation在训练过程中调整。这样做的结果是：在目前通用的7个分类评测任务中，有4个取得了state-of-the-art的结果，另外3个表现接近最好水平。

　　附：一种简单的cnn结构，一层convolution+一层pooling。来自Yoon Kim(2014)的论文。

 

　　首先做一些符号说明：输入是词向量Xi（长度是k），句子向量Xi:n是词向量的级联（拼接成长向量），filter是w,可看成一个滑动窗口，这里的w是向量，长度是hk（滑动窗口包含h个词）。

　　利用cnn做文本分类，还可以考虑到词的顺序。利用传统的”bag-of-words + maxent/svm”方法，是没有考虑词之间的顺序的。文献中提出两种cnn模型：seq-cnn, bow-cnn，利用这两种cnn模型，均取得state-of-the-art结果。

　　将doc character作为输入，利用CNN做文本分类。文献介绍了一种方法，不利用word，也不利用word vector，直接将字符系列作为模型输入，这样输入维度大大下降(相比于word)，有利于训练更复杂的卷积网络。对于中文，可以将汉字的拼音系列作为输入。

参考文献

【1】Convolutional Neural Networks for Sentence Classification