神经网络中的常用激活函数和导数
Posted liweiwei1419
tags:
篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了神经网络中的常用激活函数和导数相关的知识，希望对你有一定的参考价值。
1、 sigmoid 函数
y = 1 1 + e − x y = \\frac11 + e^-x y=1+e−x1
导函数：
d y d x = − ( 1 + e − x ) − 2 ⋅ ( 1 + e − x ) ′ = − ( 1 + e − x ) − 2 ⋅ 1 ⋅ ( e − x ) ′ = − ( 1 + e − x ) − 2 ⋅ 1 ⋅ ( e − x ) ⋅ ( − x ) ′ = − ( 1 + e − x ) − 2 ⋅ 1 ⋅ ( e − x ) ⋅ ( − 1 ) = ( 1 + e − x ) − 2 ⋅ ( e − x ) = e − x ( 1 + e − x ) 2 \\beginaligned \\cfrac\\rm dy\\rm dx &= -(1 + e^-x)^-2 \\cdot (1 + e^-x)^\\prime \\\\ &= -(1 + e^-x)^-2 \\cdot 1 \\cdot (e^-x)^\\prime \\\\ &= -(1 + e^-x)^-2 \\cdot 1 \\cdot (e^-x) \\cdot (-x) ^\\prime \\\\ &= -(1 + e^-x)^-2 \\cdot 1 \\cdot (e^-x) \\cdot (-1) \\\\ &= (1 + e^-x)^-2 \\cdot (e^-x) \\\\ &= \\cfrace^-x(1 + e^-x)^2 \\endaligned dxdy=−(1+e−x)−2⋅(1+e−x)′=−(1+e−x)−2⋅1⋅(e−x)′=−(1+e−x)−2⋅1⋅(e−x)⋅(−x)′=−(1+e−x)−2⋅1⋅(e−x)⋅(−1)=(1+e−x)−2⋅(e−x)=(1+e−x)2e−x
又因为 1 − y = 1 − 1 1 + e − x = 1 + e − x − 1 1 + e − x = e − x 1 + e − x 1 - y = 1 - \\cfrac11 + e^-x = \\cfrac1 + e^-x -11 + e^-x = \\cfrace^-x1 + e^-x 1−y=1−1+e−x1=1+e−x1+e−x−1=1+e−xe−x
所以 d y d x = y [ 1 − y ] \\cfrac\\rm dy\\rm dx = y[1 - y] dxdy=y[1−y]
2、Tanh 函数
y
=
t
a
n
h
(
x
)
=
e
x
−
e
−
x
e
x
+
e
−
x
=
2
s
i
g
m
o
i
d
(
2
x
)
−
1
y = \\rm tanh(x)=\\frace^x-e^-xe^x+e^-x = 2\\rm sigmoid(2x)-1
y=tanh(x)=ex+e−xex−e−x=2sigmoid(2x)−1
导函数：
d y d x = ( e x − e − x e x + e − x ) ′ = ( e x − e − x ) ′ ( e x + e − x ) − ( e x − e − x ) ( e x + e − x ) ′ ( e x + e − x ) 2 = ( e x + e − x ) ( e x + e − x ) − ( e x − e − x ) ( e x − e − x ) ( e x + e − x ) 2 = e 2 x + e − 2 x + 2 − ( e 2 x + e − 2 x − 2 ) ( e x + e − x ) 2 = 4 ( e x + e − x ) 2 \\beginaligned \\cfrac\\rm dy\\rm dx &= \\left(\\cfrace^x-e^-xe^x+e^-x\\right)^\\prime \\\\ &= \\cfrac(e^x-e^-x)^\\prime(e^x+e^-x)-(e^x-e^-x)(e^x+e^-x)^\\prime(e^x+e^-x)^2 \\\\ &= \\cfrac(e^x+e^-x)(e^x+e^-x)-(e^x-e^-x)(e^x-e^-x)(e^x+e^-x)^2 \\\\ &= \\cfrace^2x+e^-2x+2-(e^2x+e^-2x-2)(e^x+e^-x)^2 \\\\ &= \\cfrac4(e^x+e^-x)^2 \\endaligned dxdy=(ex+e−xex−e−x)′神经网络中的激活函数