机器学习神经网络的激活函数并通过python实现激活函数

Posted _jym

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了机器学习神经网络的激活函数并通过python实现激活函数相关的知识,希望对你有一定的参考价值。

what is 激活函数

感知机的网络结构如下:

左图中,偏置b没有被画出来,如果要表示出b,可以像右图那样做。

用数学式来表示感知机:

上面这个数学式子可以被改写:

我们表达的意义是:输入信号的总和被h(x)转换成输出y。

像h(x)函数一样,将输入信号的总和转换为输出信号,这种函数一般被称为激活函数。上面这个h(x)表示的激活函数称为阶跃函数。

表示激活函数计算过程的图如下:

激活函数的python实现

python实现阶跃函数

为了方便阶跃函数的参数取Numpy数组,用以下方式实现阶跃函数。

对numpy数组进行不等号运算后,数组的各个元素都会进行不等号运算,生成一个布尔型数组。

这个代码里数组中x大于0的元素转换成True,小于等于0的元素转换成False。由于阶跃函数要输出int类型的0或1,所以添加一个dtype=np.int32。

import numpy as np
import matplotlib.pylab as plt


def step_function(x):
    return np.array(x > 0, dtype=np.int32)

if __name__ == '__main__':
    X = np.arange(-5.0, 5.0, 0.1) 
    # 在-0.5到5.0范围内,以0.1为单位生成Numpy数组
    # [-5.0,-4.9,...,4.9,5.0]
    Y = step_function(X)
    plt.plot(X, Y)
    plt.ylim(-0.1, 1.1)  # 指定图中绘制的y轴的范围
    plt.show()

python实现sigmoid函数

下面定义的函数的参数x是Numpy数组时,结果也能正确被计算。因为Numpy具有广播功能,如果标量和Numpy数组进行数值运算,那么这个标量将和Numpy数组中的各个元素进行运算。

import numpy as np
import matplotlib.pylab as plt


def sigmoid(x):
    return 1 / (1 + np.exp(-x))


if __name__ == '__main__':
    X = np.arange(-5.0, 5.0, 0.1)
    Y = sigmoid(X)
    plt.plot(X, Y)
    plt.ylim(-0.1, 1.1)
    plt.show()

python实现ReLU函数

代码中使用Nmupy的maximum函数,该函数会从输入的数值中选择较大的值进行输出。

import numpy as np
import matplotlib.pylab as plt


def relu(x):
    return np.maximum(0, x)

if __name__ == '__main__':
    x = np.arange(-5.0, 5.0, 0.1)
    y = relu(x)
    plt.plot(x, y)
    plt.ylim(-1.0, 5.5)
    plt.show()

激活函数的特点

上面的激活函数无论是阶跃、sigmoid还是ReLU,使用的都是非线性函数,如果使用线性函数,比如h(x)=ax作为激活函数,那么y(x) = h(h(h(x)))的运算对应3层神经网络,这个运算会进行y(x) = aaax的乘法运算,但是同样的处理可以由y(x)=bx(b=aaa)这一次乘法运算表示,也还是相当于一层神经网络。也就是说,使用线性函数的话,加深神经网络的层数就没有意义了。为了发挥叠加层的优势,激活函数必须使用非线性函数

以上是关于机器学习神经网络的激活函数并通过python实现激活函数的主要内容,如果未能解决你的问题,请参考以下文章

机器学习笔记:形象的解释神经网络激活函数的作用是什么?

莫烦Python之机器学习概念了解

NN:神经网络学习,常见激活和损失函数的Python实现

机器学习——前馈神经网络

机器学习之激活函数

手推机器学习 吴恩达 神经网络BP反向传播 示例推导(下篇)