激活函数

Posted So istes immer

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了激活函数相关的知识,希望对你有一定的参考价值。

1.σ激活函数

在这里插入图片描述
除非用在二元分类的输出层,不然一般不用

2.tanh函数

tanh激活函数在大多数场合下比σ激活函数更优越
在这里插入图片描述

3.Relu(最常用)

在这里插入图片描述

4.leak Relu

在这里插入图片描述
在隐藏层我们通常使用非线性激活函数,而不使用线性的

以上是关于激活函数的主要内容,如果未能解决你的问题,请参考以下文章

激活函数总结

激活函数

常用激活函数比较

激活函数总结

激活函数

激活函数的选择