Relu激活函数的优点

Posted limingqi

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了Relu激活函数的优点相关的知识,希望对你有一定的参考价值。

Relu优点:

1、可以使网络训练更快。

  相比于sigmoid、tanh,导数更加好求,反向传播就是不断的更新参数的过程,因为其导数不复杂形式简单。

2、增加网络的非线性。

 本身为非线性函数,加入到神经网络中可以是网格拟合非线性映射。

3、防止梯度消失。

当数值过大或者过小,sigmoid,tanh的导数接近于0,relu为非饱和激活函数不存在这种现象。

4、使网格具有稀疏性。

由于小于0部分为0,大于0部分才有值,所以可以减少过拟合。

softmax作用:

将神经网络的输出变为概率分布。

1、数据之和为1.

2、负数变为正数。

cross entropy

衡量两个概率分布的距离。

1、值越小,距离越近。

2、值越大,距离越远。

AlexNet优点:

(1)成功使用relu作为cnn的激活函数,并验证其效果在较深的网络超过sigmoid,成功解决了sigmoid在网络较深时的梯度弥散问题。

(2)训练时使用Dropout随机忽略一部分神经元,以避免模型过拟合。dropout虽有单独的论文论述。但是AlexNet将其实用化。通过实践证实了它的效果。在AlexNet中主要是最后几个全连接层使用了Dropout。

(3)在cnn中使用重叠的最大池化,此前cnn中普遍使用平均池化。AlexNet全部使用最大池化。避免平均池化的模糊化效果。并且让步长比池化核的尺寸小。这样池化的输出之间会有重叠和覆盖。提升了特征的丰富性。

(4)提出了LRN层,对局部神经元的活动创建竞争机制,使得其中相应比较大的值变得相对更大。并抑制其他反馈较小的神经元,增强模型的泛化能力。

(5)使用CUDA加深深度卷积网络的训练,利用GPU强大的并行计算能力。处理神经网络训练时大量的矩阵运算。AlexNet使用了两块GTX 580 GPU进行训练。同时AlexNet的设计让Gpu之间的通信只在网络的某些层进行,控制了通信的性能损耗。

(6)数据增强。随机地从256*256的原始图像中截取224*224大小的区域(以及水平旋转的镜像)对图像的RGB数据进行PCA处理,并对主成分做一个标准差为0,1高斯扰动,增加 一些噪声。

以上是关于Relu激活函数的优点的主要内容,如果未能解决你的问题,请参考以下文章

常见激活函数(sigmod,tanh,ReLU,Leaky ReLu,Maxout)

[激活函数]啥是 ReLU

激活函数——Relu,Swish

自适应参数化ReLU激活函数:注意力机制+ReLU激活函数

注意力机制+ReLU激活函数:自适应参数化ReLU激活函数

注意力机制+ReLU激活函数=自适应参数化ReLU