超重量级深层神经网络与优化算法

Posted 2021-09-05 ZSYL

tags:

篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了超重量级深层神经网络与优化算法相关的知识，希望对你有一定的参考价值。

学习目标

目标
- 了解深层网络的前向传播与反向传播的过程
- 了解深度学习遇到的一些问题
- 知道批梯度下降与MiniBatch梯度下降的区别
- 知道指数加权平均的意义
- 知道动量梯度、RMSProp、Adam算法的公式意义
- 知道学习率衰减方式
- 知道参数初始化策略的意义

0. 为什么使用深层网络？

对于人脸识别等应用，神经网络的第一层从原始图片中提取人脸的轮廓和边缘，每个神经元学习到不同边缘的信息；网络的第二层将第一层学得的边缘信息组合起来，形成人脸的一些局部的特征，例如眼睛、嘴巴等；后面的几层逐步将上一层的特征组合起来，形成人脸的模样。

随着神经网络层数的增加，特征也从原来的边缘逐步扩展为人脸的整体，由整体到局部，由简单到复杂。层数越多，那么模型学习的效果也就越精确。

通过例子可以看到，随着神经网络的深度加深，模型能学习到更加复杂的问题，功能也更加强大。

1. 深层神经网络表示

1.1 什么是深层网络？

使用浅层网络的时候很多分类等问题得不到很好的解决，所以需要深层的网络。

2. 四层网络的前向传播与反向传播

在这里首先对每层的符号进行一个确定，我们设置L为第几层，n为每一层的个数，L=[L1,L2,L3,L4],n=[5,5,3,1]

2.1 前向传播

首先还是以单个样本来进行表示,每层经过线性计算和激活函数两步计算

我们将上式简单的用通用公式表达出来， $x = a^{[0]}$

m个样本的向量表示

2.2 反向传播

因为涉及到的层数较多，所以我们通过一个图来表示反向的过程

反向传播的结果（理解）

单个样本的反向传播：

$dZ^{[l]}=\\frac{dJ}{da^{[l]}}\\frac{da^{[l]}}{dZ^{[l]}}=da^{[l]}*g^{[l]}{'}(Z^{[l]})$

$dW^{[l]}=\\frac{dJ}{dZ^{[l]}}\\frac{dZ^{[l]}}{dW^{[l]}}=dZ^{[l]}\\cdot a^{[l-1]}$

$db^{[l]}=\\frac{dJ}{dZ^{[l]}}\\frac{dZ^{[l]}}{db^{[l]}}=dZ^{[l]}$

$da^{[l-1]}=W^{[l]T}\\cdot dZ^{[l]}$

多个样本的反向传播

$dZ^{[l]}=dA^{[l]}*g^{[l]}{'}(Z^{[l]})$

$dW^{[l]}=\\frac{1}{m}dZ^{[l]}\\cdot {A^{[l-1]}}^{T}$

$db^{[l]}=\\frac{1}{m}np.sum(dZ^{[l]},axis=1)$

$dA^{[l]}=W^{[l+1]T}\\cdot dZ^{[l+1]}$