深度学习的优化算法
Posted fenglongyu
tags:
篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了深度学习的优化算法相关的知识，希望对你有一定的参考价值。
最优化理论里面
0阶优化算法
1阶优化算法
2阶优化算法
具体定义和缺陷如下：针对深度学习以一阶的优化算法为主为主线
0阶优化算法：该算法仅仅需要因变量的数值，而不需要导数信息。因变量通过最小二乘法的拟合值近似，而约束极小化问题用罚函数转化为无约束问题，极小化过程在近似的罚函数上迭代。直到获得收敛的解。
0阶算法不利用一阶导数信息,一阶算法利用一阶导数信息. 零阶算法是在一定次数的抽样基础上,拟合设计变量、状态变量和目标函数的响应函数,从而寻求最优解,顾又可称其为子问题方法.
具体的0阶算法
以上是关于深度学习的优化算法的主要内容，如果未能解决你的问题，请参考以下文章