深度学习之卷积神经网络（CNN）学习

Posted 2020-11-18 llfctt

1、卷积神经网络中卷积的核心意义是什么？
每一组卷集合 权重是一个抽特征的滤波器， 从卷集核的角度抽取特征

2、卷积神经网络很好的特性参数共享机制
每一个神经元固定一组a x b x c（图像的通道数） 的参数w ，因此每一层网络的参数是 a x b x c x depth(神经元个数)；a x b 代表卷集核比如（3 x 3）；相比全连接的DNN 参数 w x h x c x depth 降低很多；
例如：4 x 4 x 3 x 10(CNN)  418 x 418 x 3 x 10(DNN)

3、卷积：一组固 定的权重和不同窗口内数据做内积（对应位置相乘再求和）

4、激励层：卷积层的输出做一个非线性的映射（逐点做运算）
   CNN慎用sigmoid ， 首先试RELU ，因为计算很快，如果RELU失效，请用Leaky RELU或者Maxout，某些情况下tanh也会有不错的效果，但是很少。
   不同的激活函数对loss影响可能不是很大，对收敛的速度会有一些差异
   
 5、在图像识别任务中， 卷积神经网络中，maxpooling效果比averagepooling好一些 ，通常是放在连续的几个卷积层之间， pooling层的过程是降维的过程主要用来降低过拟合的风险，一个模糊化的过程，同时可以降低参数数量降低网络计算的复杂度。