maxout激活函数
Posted simple_wxl
tags:
篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了maxout激活函数相关的知识,希望对你有一定的参考价值。
maxout的拟合能力是非常强的,它可以拟合任意的的凸函数。最直观的解释就是任意的凸函数都可以由分段线性函数以任意精度拟合(学过高等数学应该能明白),而maxout又是取k个隐隐含层节点的最大值,这些”隐隐含层"节点也是线性的,所以在不同的取值范围下,最大值也可以看做是分段线性的(分段的个数与k值有关)。论文中的图1如下(它表达的意思就是可以拟合任意凸函数,当然也包括了ReLU了):
以上是关于maxout激活函数的主要内容,如果未能解决你的问题,请参考以下文章
常见激活函数(sigmod,tanh,ReLU,Leaky ReLu,Maxout)
激活函数 Sigmoidtanh*LUsoftPlusmaxOutsoftmaxdice- 杂记
学习经验分享NO.16超全代码-python画Sigmoid,ReLU,Tanh等十多种激活函数曲线及其梯度曲线(持续更新)