深度学习 面试准备

Posted 2022-11-14 lvjincheng

目录

void

---

CNN篇

该部分内容包括：

• 卷积核大小选择
• 卷积操作中的计算

卷积核大小选择

需要注意的是，LeNet-5中的卷积核size为5×5。

卷积核尺寸通常为奇数

1. 为了有明确的中心
2. 图像两边padding是对称的

\(1\times 1\)卷积的作用

1. 实现信息的跨通道交互和整合
2. 对卷积核通道数进行降维和升维，减小参数量

卷积操作的尺寸变化

\[ \beginaligned n_o u t &=\left\lfloor\fracn_i n+2 p-ks\right\rfloor+ 1 \\ n_i n : & \text number of input features \\ n_o u t : & \text number of output features \\ k : & \text convolution kernel size \\ p : & \text convolution padding size \\ s : & \text convolution stride size \endaligned \]
当padding设置为SAME的时候，会自动补0；当padding设置为VALID的时候，只使用有效的数据故不会补0。

感受野的计算

\[ \beginaligned n_o u t &=\left\lfloor\fracn_i n+2 p-ks\right\rfloor+ 1 \\ j_o u t &=j_i n * s \\ r_o u t &=r_i n+(k-1) * j_i n \\ \text start_o u t &=\operatornamestart_i n+\left(\frac\mathrmk-12-\mathrmp\right) * j_i n \endaligned \]
其中\(j\)是jump，含义是从最开始到现在跳过的连续特征点的数目，也就是从最开始到本层（除去本层）所有stride乘积。

卷积核的尺寸为什么一般是奇数？

1. 便于padding，奇数的尺寸可以从图像的两边对称的padding
2. 便于确定卷积核中心

---

Reference

1. 【干货】CNN 感受野首次可视化：深入解读及计算指南. https://mp.weixin.qq.com/s?__biz=MzI3MTA0MTk1MA==&mid=2651997001&idx=4&sn=3a0323b421a45e80520a411a3b21fe33