PyTorch学习激活函数

Posted 2021-06-07 My heart will go ~~

激励函数的功能:解决不能用线性方程概括的问题

y=Wx， 神经网络
y=AF(Wx),，AF为激励函数，是一个非线性方程。激励函数必须是可以微分的。

当神经网络有很多层的时候，不能随意使用激活函数，因为很有可能造成梯度爆炸或者梯度消失
默认首选激励函数：
卷积神经网络中：relu
循环神经网络中：relu or tanh

激励（激活）函数（activation function）

import torch
import torch.nn.functional as F
from torch.autograd import Variable
import matplotlib.pyplot as plt

x=torch.linspace(-5, 5,200)#-5到5的200个数据
x=Variable(x)
x_np=x.data.numpy()#画图的时候要用numpy类型的数据

y_relu=F.relu(x).data.numpy()
y_sigmoid=F.sigmoid(x).data.numpy()
y_tanh=F.tanh(x).data.numpy()
y_softplus=F.softplus(x).data.numpy()


#画图，感觉类似于matlab里面作图
plt.figure(1,figsize=(8,6))
plt.subplot(221)
plt.plot(x_np,y_relu,c='red',label='relu')
plt.ylim(-1,5)
plt.legend(loc='best')

plt.subplot(222)
plt.plot(x_np,y_sigmoid,c='red',label='sigmod')
plt.ylim(-0.2,1.2)
plt.legend(loc='best')

plt.subplot(223)
plt.plot(x_np,y_tanh,c='red',label='tanh')
plt.ylim(-1.2,1.2)
plt.legend(loc='best')

plt.subplot(224)
plt.plot(x_np,y_softplus,c='red',label='softplus')
plt.ylim(-0.2,6)
plt.legend(loc='best')

结果图为：