论文解读《ImageNet Classification with Deep Convolutional Neural Networks》

Posted 2022-07-30 chenke-cheng

这篇论文提出了AlexNet，奠定了深度学习在CV领域中的地位。
1. ReLu激活函数
2. Dropout
3. 数据增强

---

 

减小过拟合(Reducing Overfitting)

动机：由于整个网络拥有6000万个参数；尽管ILSVRC的1000个类使得每个训练示例对从图像到标签的映射施加10位约束，十分有必要去考虑过拟合的问题。

数据扩充(Data Augmentation)

图像数据扩充，即人工的扩大数据集， 是减小过拟合现象最简单和常用的方法，作者使用两者不同的数据扩充方法：

--第一种形式是包括生成图像平移和水平反射，具体的，他们从256*256的图像种随机抽取了224*224的图像patch用于训练，这将我们的训练集的大小增加了2048倍，尽管由此产生的训练示例当然是高度相互依赖的。