深度学习之一：神经网络与深度学习

Posted 2022-12-09 zzulp

深度学习之一：神经网络与深度学习

---

1 简介

本系列内容为Andrew NG的深度学习课程的笔记。深度学习课程在coursera及网易云课堂上都可以免费学习到。课程共计5部分，分别介绍了深度学习，深度学习的优化，深度学习项目的演进策略，卷积神经网络和循环神经网络。本系列笔记也分为5部分，分别与之相对应。

本篇内容主要介绍如何使用numpy，通过梯度下降实现后向传播算法，完成从简单的单个神经元，单层直到多层全连接神经网络的训练实现方法。

2 Logistic回归

2.1 记法说明

$x^(i)$ 上标表示训练集中第$i$个数据
$x_j^(i)$ 若$x\\in R^n$，下标表示向量$x^(i)$的第$j$维分量
$y^(i)$ 表示第$i$个数据对应的监督学习的标签

训练数据集表示为：$\\left[ (x^(1),y^(1)),(x^(2),y^(2)),...(x^(m),y^(m)) \\right ]$

为了便于运算，将X和Y其表示为矩阵的形式，约定每一列为一个训练数据
$X=\\left[ \\matrixx^(1) & x^(2) & ... & x^(m) \\right]$， 其维度为(dim($x$),m)
$Y=\\left[ \\matrixy^(1) & y^(2) & ... & y^(m) \\right]$，其维度为(1,m)
$\\widehat y^(i)$ 为算法针对第$i$组输入预测的输出

2.2 Logistic回归

Logistic回归是一种有监督的学习算法，可以用来解决二分类问题。神经网络中每个神经元都是一个logistic回归单元。下图来表示逻辑回归的思想：

以判断图片是否为猫的图片这个二分类问题为例。可以把图片表示为一个由n个特征组成的向量$x$，算法输出当$x$作为输入时，结果为猫的概率。即 $$\\widehat y = P(y=1|x)=\\sigma (w^Tx + b)$$

其中$\\sigma$为sigmoid激活函数：$\\sigma(z) = \\frac11+e^-z$
其函数图像为：
其导数为： σ′=σ∗(1−σ深度神经网络中正则化和 dropout 对 NaN 的巨大损失值

深度学习原理与框架-Tensorflow卷积神经网络-神经网络mnist分类

深度学习与图神经网络核心技术实践应用高级研修班-Day1卷积神经网络（CNN详解）

深度学习常见概念字典（感知机全连接层激活函数损失函数反向传播过拟合等）

深度学习常见概念字典（感知机全连接层激活函数损失函数反向传播过拟合等）

深度学习常见概念字典（感知机全连接层激活函数损失函数反向传播过拟合等）