激活函数

Posted Crysaty

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了激活函数相关的知识,希望对你有一定的参考价值。

  • 理论上讲任何一个连续的非多项式、常数函数都可以做为BP的激活函数,而且这都是已经在数学上证明过的问题。 

  • sigmoid函数相对其他函数有它自身的优点,比如说光滑性,鲁棒性,以及在求导的时候可以用它自身的某种形式来表示 。

  • 这一点在做数值试验的时候很重要,因为权值的反向传播,要求激活函数的导数

  • 多层就有多个导数,如果用一般的连续函数,这对计算机的存储和运算都是一个问题,此外还要考虑整个模型的收敛速度,我上面提到连续函数都可以做激活函数 。

  • 但是相应的Sigmoidal型函数的收敛速度还是比较快的,(相同的结构前提下) 

  • 还有就是BP在做分类问题的时候,Sigmoidal函数能比较好的执行这一条件,关于连续函数可以做激活函数的证明,可以在IEEE trans. on neural networks 和NeuralNetworks以及Neural Computating 和Neural Computation上找到。

以上是关于激活函数的主要内容,如果未能解决你的问题,请参考以下文章

激活函数总结

激活函数

常用激活函数比较

激活函数总结

激活函数

激活函数的选择