一战成名的神经网络——AlexNet神经网络
Posted 攀言
tags:
篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了一战成名的神经网络——AlexNet神经网络相关的知识，希望对你有一定的参考价值。
2012年，在ImageNet竞赛冠军有一种卷积神经网络一战成名，它的分类准确率远超第二名传统分类方法，它的名字叫——AlexNet.
AlexNet详细网络结构如下图：
AlexNet最值得借鉴的有以下几点：
1. 采用了双GPU的方式分别加载卷积核（如图两个红色框中的卷积核分别 是在两个GPU上的）。每个GPU加载了48个卷积核，一共就有2x48=96个卷积核，速度奇快。
2. 全连接层上使用了dropout的方式，减小过拟合的可能性。解释一下dropout的含义，如下图：在全连接的前一层，故意mask掉某些神经元，让它们在本次训练过程中失效，这样可以很大程度上减少训练的参数数量，从而达到减少过拟合的效果。
3. 首次使用了Relu激活函数。要知道，提到激活函数，了解神经网络的 都知道有个Sigmoid激活函数，可是就是那次比赛，AlexNet竟然打了个“擦边球”，使用了Relu激活函数，使得训练效率成倍提升！
顺便说一句，Relu函数现在越来越牛X了，先看一下它的真容吧：
也就是：f(x)=max(0,x),看起来平平无奇，可其实很厉害，跟sigmoid相比，可以克服梯度下降法中梯度消失的问题，训练速度也很快（Alex就是例子）。
关于AlexNet就介绍到这里了，加油~~~
以上是关于一战成名的神经网络——AlexNet神经网络的主要内容，如果未能解决你的问题，请参考以下文章