机器学习4 神经网络学习（Neural Networks Learning）

Posted 2022-06-23 拉风小宇

tags:

篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了机器学习4 神经网络学习（Neural Networks Learning）相关的知识，希望对你有一定的参考价值。

在上一篇博文的后半段引入了神经网络的概念并且介绍了神经网络的前向传播（feedforward propagation），这篇博文较为详细地讲解神经网络，主要是反向传播（backpropagation）算法是如何“学习”神经网络中的参数的。

神经网络

还是以手写数字识别为例，这里我们同样将神经网络设置为三层，第二层为隐藏层

前向传播和代价函数

在没做正则化处理的时候，神经网络的代价为

J(θ)=1m∑i=1m∑k=1K[−y(i)klog((hθ(x(i)))k)−(1−y(i)k)log(1−hθ(x(i)))k)] J ( θ ) = 1 m ∑ i = 1 m ∑ k = 1 K [ − y k ( i ) log ⁡ ( ( h θ ( x ( i ) ) ) k ) − ( 1 − y k ( i ) ) log ⁡ ( 1 − h θ ( x ( i ) ) ) k ) ] $J(\\theta)=\\frac1m\\sum_i=1^m\\sum_k=1^K[-y_k^(i)\\log((h_\\theta(x^(i)))_k)-(1-y_k^(i))\\log(1-h_\\theta(x^(i)))_k)]$
其中

hθ(x(i)) h θ ( x ( i ) ) $h_\\theta(x^(i))$ 根据上图计算，K=10是类数。注意到

hθ(x(i))k=a(3)k h θ ( x ( i ) ) k = a k ( 3 ) $h_\\theta(x^(i))_k=a^(3)_k$ 是第

k k $k$ 个输出单源的激活（输出值：output value）。为了训练一个神经网络，我们将标签向量化，标签仅仅包含0或者1

y = [\begin{matrix} 1 \\ 0 \\ 0 \\ ⋮ \\ 0 \end{matrix}], [\begin{matrix} 0 \\ 1 \\ 0 \\ ⋮ \\ 0 \end{matrix}], \dots o r [\begin{matrix} 0 \\ 0 \\ 0 \\ ⋮ \\ 1 \end{matrix}]

$y=\\left[ \\beginarrayc 1\\\\ 0\\\\ 0\\\\ \\vdots\\\\ 0 %第一行元素 \\endarray \\right],\\left[ \\beginarrayc 0\\\\ 1\\\\ 0\\\\ \\vdots\\\\ 0 %第一行元素 \\endarray \\right],\\cdots or \\left[ \\beginarrayc 0\\\\ 0\\\\ 0\\\\ \\vdots\\\\ 1 %第一行元素 \\endarray \\right]$
比如说，如果

x(i) x ( i ) $x^(i)$ 是5，那么对应的

y(i) y ( i ) $y^(i)$ 应该是一个十维向量，其中

y5=1 y 5 = 1 $y_5=1$ 其他元素都是0.

正则化代价函数

带有正则化项的代价函数是由下式给出的

J(θ)=1m∑i=1m∑k=1K[−y(i)klog((hθ(x(i)))k)−(1−y带有RNN循环神经网络的机器学习 4 NLP 从零到英雄 ML with Recurrent Neural Networks

Stanford机器学习笔记-5.神经网络Neural Networks (part two)

机器学习-神经网络（Neural Network）算法

吴恩达机器学习-5-神经网络学习Neural Networks Learning

李宏毅《机器学习》丨6. Convolutional Neural Network（卷积神经网络）