价值连城 神经网络- 吴恩达Andrew Ng Coursera Neural Networks and Deep Learning

Posted 2021-08-16 架构师易筋

课程

Neural Networks and Deep Learning
https://www.coursera.org/learn/neural-networks-deep-learning/home/welcome

价值连城的采访

1. 价值连城 杰弗里·欣顿(Geoffrey·Hinton)的采访 给AI从业者的建议
2. 价值连城 知名深度强化学习Pieter Abbeel的采访 给机器学习 深度学习 和机器人学研究者从业者的建议
3. 价值连城 生成对抗网络(Gans) 的作者Ian Goodfellow的采访 给深度学习从业者的建议

神经网络 前向传播，反向传播

课程用4周解释了什么是神经网络，什么是前向传播，什么是反向传播？

前向传播有两个作用：

1. 计算Z(n) 为后面反向传播需要用上；
2. 用最终调试好的权重矩阵W，偏置参数b，计算预测结果，predictY

反向传播的作用：
根据结果反向调整参数的权重，优化梯度下降，也就是求导，求得dw,db; 根据dw, db和求导速率 learning_rate, 计算最佳权重矩阵W，偏置参数b。

W = W - learning_rate * dw
b = b - learning_rate * db

深度神经网络 为啥比 浅神经网络好

用电路开关来比喻。
深度神经网络：现在个人的电路都有总开关，然后连接到楼层的总开关，然后连接到一栋楼的总开关，然后到街道总开关，区域总开关，城市总开关，国家总开关。
浅神经网络：个人直接连接到国家总开关，那么开关控制是否很复杂，就像下面右边图所示。

深度神经网络，前面的layer处理比较简单的信息，越到后面处理越复杂。
比如看一张脸，我们先分辨出轮廓，这是一张脸；然后注意到特征，比如眼睛、鼻子等；再然后是跟复杂的表征，比如眼睛、鼻子、嘴连接起来，胡子、眉毛等。