李宏毅《机器学习》丨5. Tips for neural network design（神经网络设计技巧）
Posted AXYZdong
tags:
篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了李宏毅《机器学习》丨5. Tips for neural network design（神经网络设计技巧）相关的知识，希望对你有一定的参考价值。
Author：AXYZdong
李宏毅《机器学习》系列
参考视频地址：https://www.bilibili.com/video/BV1Ht411g7Ef
参考文档：DataWhale文档
文章目录
一、局部最小值与鞍点
Optimization Fails because …
- local minima（局部最小值）
- saddle point（鞍点）
二、批次与动量
- Optimization with Batch
- Gradient Descent + Momentum
三、自动调整学习速率
RMSProp(root mean square prop，均方根)
学习原理∶在自适应梯度基础上引入了衰减因子，在梯度累积的时候，会对“过去”与“现在”做一个平衡，通过超参数进行调节衰减量。
适合处理非平稳目标（也就是与时间有关的)，对于RNN效果很好。
Adam(Adaptive momentum optimization，自适应动量优化)
是目前深度学习中最流行的优化方法，它结合了自适应梯度善于处理稀疏梯度和均方根善于处理非平稳目标的优点，适用于大数据集和高维空间。
四、损失函数的影响
主要是对分类任务的影响。
五、批次标准化
批次标准化（Batch Normalization），改变不同特征的范围（changing landscape
）。
五、总结
Datawhale组队学习，李宏毅《机器学习》Task5. Tips for neural network design（神经网络设计技巧）。包括局部最小值与鞍点、批次与动量、自动调整学习速率、损失函数的影响和批次标准化。李老师课程中对数学的原理讲得很清楚，不过对于侧重应用可以不求甚解，知道设计的技巧即可。
如果以上内容有任何错误或者不准确的地方，欢迎在下面 👇 留言。或者你有更好的想法，欢迎一起交流学习~~~
更多精彩内容请前往 AXYZdong的博客
以上是关于李宏毅《机器学习》丨5. Tips for neural network design（神经网络设计技巧）的主要内容，如果未能解决你的问题，请参考以下文章
李宏毅《机器学习》丨1. Introduction of this course（机器学习介绍）