深度模型相关知识

Posted 2020-11-07 小丑_jk

参考：https://www.cnblogs.com/jie-dcai/p/5803220.html

参考：https://www.zhihu.com/question/38102762

参考：https://blog.csdn.net/u010725283/article/details/78593410

 

梯度消失/梯度爆炸的问题：

 

 

激活函数选择：

 

 

层归一化：

 

 

感受野：

在卷积神经网络中，决定某一层输出结果中一个元素所对应的输入层的区域大小，被称为是感受野（receptive field）。通俗点说就是feature map上一个点对应输入图的区域。

 如左图所示，这里采用的卷积核大小为k=3*3，填充大小(padding size)=1*1，步长为2*2，那么蓝色部分5*5的矩阵经卷积得到的绿色feature map大小为(5-3+1*2)/2+1=3（先对原输入图片进行周边的padding，后进行卷积操作）。这时，由左上角的图可以发现，各节点对应的输入层的感受野大小为3*3。反应在右上角的图为feature map的大小固定，各节点为其对应的感受野的中心位置。

同样的，再对输出的3*3的feature map进行1*1的0填充，进行卷积操作得到(3-3+1*2)/2+1=2的输出大小。

 

上图中带有红点的特征表示一个像素，它对应输入layer0中的区域大小就是我们要的感受野。所以经过3*3的卷积操作后，得到的layer1中对应于layer0的灰色区域即为感受野。

为了使卷积之后的特征图大小不变，那么每次的padding都是上一层感受野的大小。

再看从layer1到lay2的过程，首先在外面加一层padding=1，conv2的阴影部分本人的理解为第二层对应的卷积核，

 

可能下面这个例子更加通俗易懂：

参考：https://www.zhihu.com/question/53405779

 目标检测中mAP的含义：

1、对于类别C，在一张图片上首先计算C在一张图片上的

    Precision=在一张图片上类别C识别正确的个数(IoU>0.5) / 一张图片上类别C的总个数：

2、对于类别C，可能在多张图上有该类别，计算类别C的AP指数：

    AP=每张图上的Precision求和 / 含有类别C的图片数

3、对于整个数据集，存在多个类别C1、C2、C3：

mAP=上一步计算的所有类别AP和 / 总的类别数目

 也即所有类别的AP的均值