最优化学习3
Posted zherlock
tags:
篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了最优化学习3相关的知识，希望对你有一定的参考价值。
对几个经典方法的整理和比较
手打一下公式
梯度下降法：面向任何函数，收敛速度一阶，有发散可能。梯度下降法考虑函数的一阶梯度，找到一个合理的迭代方向，但是不能确定步长。
只利用了当前点的切线的信息
$x = x_0 - lambda abla{F(x)}$
牛顿法：面向任何函数，收敛速度二阶，有发散可能。使用了二阶的梯度，lllaaa
$f‘(x) apporx f‘(x_0) $
以上是关于最优化学习3的主要内容，如果未能解决你的问题，请参考以下文章
深度学习数学《矩阵分析与应用第2版》资料+《最优化理论与算法第2版》电子书资料+《人工智能一种现代的方法第3版》资料学习