神经网络算法推演----------:反向传播算法Backpropagation Algorithm
Posted 岳飞传
tags:
篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了神经网络算法推演----------:反向传播算法Backpropagation Algorithm相关的知识，希望对你有一定的参考价值。
反向神经网络（Backpropagation neural network)
继续分享给大家反向神经网络的数学过程推导，以便更好的理解神经网络的梯度下降算法工作过程，原文请参考=====>>>>>>
2.1 代价函数的定义
假设我们有一个固定样本集 (x(1),y(1)),…,(x(m),y(m)) ( x ( 1 ) , y ( 1 ) ) , … , ( x ( m ) , y ( m ) ) ，它包含 m m 个样例。我们可以用批量梯度下降法来求解神经网络。具体来讲，对于单个样例 (x,y) ( x , y ) ，其代价函数为：
J(W,b;x,y)=12∥hW,b(x)−y∥2.(437) (437) J ( W , b ; x , y ) = 1 2 ‖ h W , b ( x ) − y ‖ 2 .
这是一个（二分之一的）方差代价函数。给定一个包含 m m 个样例的数据集，我们可以定义整体代价函数为：
J(W,b)=[1m∑i=1mJ(W,b;x(i),y(i))]+λ2∑l=1nl−1∑i=1sl∑j=1sl+1(W(l)ji)2=[1m∑i=1m(12∥∥hW,b(x(i))−y(i)∥∥2)]+λ2∑l=1nl−1∑i=1sl∑j=1sl+1(W(l)ji)2(438)(439)
(438)
J
(
W
,
b
)
=
[
1
m
∑
i
=
1
m
J
(
W
,
b
;
x
(
i
)
,
y
(
i
)
)
]
+
λ
2
∑
l
=
1
n
l
−
1
∑
i
=
1
s
l
∑
j
=
1
s
以上是关于神经网络算法推演----------:反向传播算法Backpropagation Algorithm的主要内容，如果未能解决你的问题，请参考以下文章