常用的激活函数

Posted little-horse

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了常用的激活函数相关的知识,希望对你有一定的参考价值。

1.阶跃函数

技术图片

1 def step_function(x):
2     return np.array(x>0,dtype=np.int)

技术图片

2.sigmoid函数

技术图片

1 def sigmoid(x):
2     return 1/(1+np.exp(-x))

技术图片

3.relu函数

技术图片

1 def relu(x):
2     return np.maximum(0,x)

技术图片

4.softmax

技术图片

 1 def softmax(x):
 2     e_a = np.exp(x)
 3     sum_e_a = np.sum(e_a)
 4     y=e_a/sum_e_a
 5     return y
 6 #或者,考虑可能出现内存溢出问题,减去一个常数
 7 def softmax(x):
 8     c=np.max(x)
 9     e_a = np.exp(x-c)
10     sum_e_a = np.sum(e_a)
11     y=e_a/sum_e_a
12     return y

技术图片

以上是关于常用的激活函数的主要内容,如果未能解决你的问题,请参考以下文章

Keras深度学习实战——深度学习中常用激活函数和损失函数详解

机器学习基础常用激活函数(激励函数)理解与总结

常用的激活函数

常用激活函数比较

常用激活函数:SigmoidTanhReluLeaky ReluELU优缺点总结

激活函数总结