backpropagation

Posted 2020-12-26 cbattle

tags:

篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了backpropagation相关的知识，希望对你有一定的参考价值。

　　The goal of backpropagation is to compute the partial derivatives $\partial C / \partial w$

$\partial C / \partial w$

$\partial C / \partial w$

two assumptions :

　　1: The first assumption we need is that the cost function can be written as an average $C = \frac{1}{n} \sum_{x} C_{x}$

　　　　技术分享图片　　　　(case for the quadratic cost function)

　　　　The reason we need this assumption is because what backpropagation actually lets us do is compute the partial derivatives

$\partial C_{x} / \partial w$

$\partial C_{x} / \partial w$

$\partial C_{x} / \partial w$

$\partial C_{x} / \partial w$

　　技术分享图片

the Hadamard product

　　 $(s ⊙ t)_{j} = s_{j} t_{j}$

　　

The four fundamental equations behind backpropagation

　　技术分享图片

BP1

　　技术分享图片 :the error in the jth neuron in the lth layer

　　　　技术分享图片

　　　　You might wonder why the demon is changing the weighted input $z_{j}^{l}$

$z_{j}^{l}$

$z_{j}^{l}$

$z_{j}^{l}$

　　An equation for the error in the output layer, $δ^{L}$ The components of $δ^{L}$

$δ^{L}$

　　it‘s easy to rewrite the equation in a matrix-based form, as

　　技术分享图片

　　技术分享图片

　　技术分享图片

BP2

　　技术分享图片

　　

　　技术分享图片

BP3

　　技术分享图片

　　技术分享图片

BP4

　　技术分享图片

　　技术分享图片

　　技术分享图片

reference: http://neuralnetworksanddeeplearning.com/chap2.html

$(s ⊙ t)_{j} = s_{j} t_{j}$

$(s ⊙ t)_{j} = s_{j} t_{j}$

技术分享图片

$(s ⊙ t)_{j} = s_{j} t_{j}$

以上是关于backpropagation的主要内容，如果未能解决你的问题，请参考以下文章