机器学习神经网络的激活函数并通过python实现激活函数
Posted _jym
tags:
篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了机器学习神经网络的激活函数并通过python实现激活函数相关的知识,希望对你有一定的参考价值。
神经网络的激活函数、并通过python实现
what is 激活函数
感知机的网络结构如下:
左图中,偏置b没有被画出来,如果要表示出b,可以像右图那样做。
用数学式来表示感知机:
上面这个数学式子可以被改写:
我们表达的意义是:输入信号的总和被h(x)转换成输出y。
像h(x)函数一样,将输入信号的总和转换为输出信号,这种函数一般被称为激活函数。上面这个h(x)表示的激活函数称为阶跃函数。
表示激活函数计算过程的图如下:
激活函数的python实现
python实现阶跃函数
为了方便阶跃函数的参数取Numpy数组,用以下方式实现阶跃函数。
对numpy数组进行不等号运算后,数组的各个元素都会进行不等号运算,生成一个布尔型数组。
这个代码里数组中x大于0的元素转换成True,小于等于0的元素转换成False。由于阶跃函数要输出int类型的0或1,所以添加一个dtype=np.int32。
import numpy as np
import matplotlib.pylab as plt
def step_function(x):
return np.array(x > 0, dtype=np.int32)
if __name__ == '__main__':
X = np.arange(-5.0, 5.0, 0.1)
# 在-0.5到5.0范围内,以0.1为单位生成Numpy数组
# [-5.0,-4.9,...,4.9,5.0]
Y = step_function(X)
plt.plot(X, Y)
plt.ylim(-0.1, 1.1) # 指定图中绘制的y轴的范围
plt.show()
python实现sigmoid函数
下面定义的函数的参数x是Numpy数组时,结果也能正确被计算。因为Numpy具有广播功能,如果标量和Numpy数组进行数值运算,那么这个标量将和Numpy数组中的各个元素进行运算。
import numpy as np
import matplotlib.pylab as plt
def sigmoid(x):
return 1 / (1 + np.exp(-x))
if __name__ == '__main__':
X = np.arange(-5.0, 5.0, 0.1)
Y = sigmoid(X)
plt.plot(X, Y)
plt.ylim(-0.1, 1.1)
plt.show()
python实现ReLU函数
代码中使用Nmupy的maximum函数,该函数会从输入的数值中选择较大的值进行输出。
import numpy as np
import matplotlib.pylab as plt
def relu(x):
return np.maximum(0, x)
if __name__ == '__main__':
x = np.arange(-5.0, 5.0, 0.1)
y = relu(x)
plt.plot(x, y)
plt.ylim(-1.0, 5.5)
plt.show()
激活函数的特点
上面的激活函数无论是阶跃、sigmoid还是ReLU,使用的都是非线性函数,如果使用线性函数,比如h(x)=ax作为激活函数,那么y(x) = h(h(h(x)))的运算对应3层神经网络,这个运算会进行y(x) = aaax的乘法运算,但是同样的处理可以由y(x)=bx(b=aaa)这一次乘法运算表示,也还是相当于一层神经网络。也就是说,使用线性函数的话,加深神经网络的层数就没有意义了。为了发挥叠加层的优势,激活函数必须使用非线性函数。
以上是关于机器学习神经网络的激活函数并通过python实现激活函数的主要内容,如果未能解决你的问题,请参考以下文章