网络中的网络 NiN 动手学深度学习v2 pytorch

Posted 2022-04-15 AI架构师易筋

1. 网络中的网络 NiN

网络中的网络 NiN 是基于AlexNet的尝试改进，去掉全连接层。
网络中的网络 NiN 后面被使用的不多，但是去掉全连接层的思想 被采用。

全连接层最大的问题是

1. 用很多内存
2. 占用很大的计算带宽
3. 收敛很快，但是会导致过拟合
   
   
   
   
   

2. 代码实现

3. Q&A

• 1. nvidia-smi是nvidia 的系统管理界面，其中smi是System management interface的缩写，它可以收集各种级别的信息，查看显存使用情况。
• 2. AlexNet, NiN还是需要Softmax的, 需要做分类。
• 3. NiN为什么需要个2个1x1的卷积层，大概率是训练调参出来的结果。

参考

https://www.bilibili.com/video/BV1Uv411G71b?p=1