漫步最优化三十三——牛顿法

Posted 2022-12-04 会敲键盘的猩猩

$\\textbf自从有了你，$
$\\textbf绝望与无奈远走高飞。$
$\\textbf自从有了你，$
$\\textbf我的世界不再天灰灰。$
$\\textbf自从有了你，$
$\\textbf时间变得越来越值得回味。$
$\\textbf自从有了你，$
$\\textbf我不再形单影只无人依偎。$
$\\textbf因为你的出现，$
$\\textbf我的世界多了一个词汇：美。$
$\\qquad\\qquad\\textbf——畅宝宝的傻逼哥哥$

最速下降法是一阶法，这是因为它基于泰勒级数的线性近似。而众所周知的牛顿法则是利用了泰勒级数的二阶近似，如果 $\\mathbfx$的变化量是 $\\delta$， $f(\\mathbfx+\\delta)$为
$$f(\\mathbfx+\\delta)\\approx f(\\mathbfx)+\\sum_i=1^n\\frac\\partial f\\partial x_i\\delta_i+\\frac12\\sum_i=1^n\\sum_j=1^n\\frac\\partial^2f\\partial x_i\\partial x_j\\delta_i\\delta_j$$

假设这是函数在点$\\mathbfx+\\delta$处的精确表示，那么函数$f(\\mathbfx+\\delta)$对$\\delta_k$($k=1,2,\\ldots,n$)求导并令其等于零可以得出最小化$f(\\mathbfx+\\delta)$的$\\delta_k$值，由此可得

$$\\frac\\partial f\\partial x_k+\\sum_i=1^n\\frac\\partial^2 f\\partial x_i\\partial x_k\\delta_i=0\\quad\\textfor\\ k=1,2,\\ldots,n$$

或者用矩阵形式来表示为

漫步最优化四十三——拟牛顿法

漫步最优化四十三——拟牛顿法

机器学习之求解无约束最优化问题方法(手推公式版)

机器学习之求解无约束最优化问题方法(手推公式版)

漫步最优化四十四——基本拟牛顿法

漫步最优化四十四——基本拟牛顿法