梯度下降优化方法 与 自动控制 的关系
Posted jhc888007
tags:
篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了梯度下降优化方法 与 自动控制 的关系相关的知识，希望对你有一定的参考价值。
梯度下降的各种优化算法下面参考文献表述都很全面了，不在赘述，主要谈谈个人理解
其实对SGD的优化，跟自动控制中的PID思路其实是一样的
- P（Propotion）比例项即当前偏差
- I（Intergration）积分项即偏差的累积
- D（differentiation）微分项即偏差的变化
SGD加入微分项，即对梯度中与此前优化的方向相同的方向进行加权，相反的方向进行降权，即Monentum，可以防止每次迭代下降梯度在某个方向上反复震荡
SGD加入积分项，即对梯度中累积优化多的方向进行降权，累积优化少的方向进行升权，即Adagrad，可以防止某个方向由于训练样本原因导致的在某个方向上下降过慢
SGD同时加入积分项和微分项，即Adam，可以综合两者的优点
参考文献：
https://zhuanlan.zhihu.com/p/32626442
https://zhuanlan.zhihu.com/p/22252270
以上是关于梯度下降优化方法 与 自动控制 的关系的主要内容，如果未能解决你的问题，请参考以下文章