神经网络中激活函数总结

Posted

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了神经网络中激活函数总结相关的知识,希望对你有一定的参考价值。

http://blog.csdn.net/whiup/article/details/52276110

1. sigmoid激活函数

sigmoid将一个实数输入映射到[0,1]范围内,如下图(左)所示。使用sigmoid作为激活函数存在以下几个问题:

  • 梯度饱和。当函数激活值接近于0或者1时,函数的梯度接近于0。在反向传播计算梯度过程中:δ(l)=(W(l))Tδ(l+1)?f(z(L)),每层残差接近于0,计算出的梯度也不可避免地接近于0。这样在参数微调过程中,会引起参数弥散问题,传到前几层的梯度已经非常靠近0了,参数几乎不会再更新。
  • 函数输出不是以0为中心的。我们更偏向于当激活函数的输入是0时,输出也是0的函数。

因为上面两个问题的存在,导致参数收敛速度很慢,严重影响了训练的效率。因此在设计神经网络时,很少采用sigmoid激活函数。

技术分享

2. tanh激活函数

tanh函数将一个实数输入映射到[-1,1]范围内,如上图(右)所示。当输入为0时,tanh函数输出为0,符合我们对激活函数的要求。然而,tanh函数也存在梯度饱和问题,导致训练效率低下。

3.Relu激活函数

Relu激活函数(The Rectified Linear Unit)表达式为:f(x)=max(0,x)。如下图(左)所示:

技术分享

相比sigmoid和tanh函数,Relu激活函数的优点在于:

  • 梯度不饱和。梯度计算公式为:1{x>0}。因此在反向传播过程中,减轻了梯度弥散的问题,神经网络前几层的参数也可以很快的更新。
  • 计算速度快。正向传播过程中,sigmoid和tanh函数计算激活值时需要计算指数,而Relu函数仅需要设置阈值。如果x<0,f(x)=0,如果x>0,f(x)=x。加快了正向传播的计算速度。

因此,Relu激活函数可以极大地加快收敛速度,相比tanh函数,收敛速度可以加快6倍(如上图(右)所示)。

以上是关于神经网络中激活函数总结的主要内容,如果未能解决你的问题,请参考以下文章

神经网络中激活函数总结

常见激活函数的介绍和总结

常用激活函数:SigmoidTanhReluLeaky ReluELU优缺点总结

激活函数总结

cs231n 卷积神经网络与计算机视觉 5 神经网络基本结构 激活函数总结

神经网络常见概念总结