Jacobian矩阵，Hessian矩阵和牛顿法

Posted 2022-10-30 multiangle

---

转自 : http://jacoxu.com/jacobian%E7%9F%A9%E9%98%B5%E5%92%8Chessian%E7%9F%A9%E9%98%B5/

Jacobian矩阵

在向量分析中, 雅可比矩阵是一阶偏导数以一定方式排列成的矩阵, 其行列式称为雅可比行列式.
雅可比矩阵的重要性在于它体现了一个可微方程与给出点的最优线性逼近. 因此, 雅可比矩阵类似于多元函数的导数.

假设$F: R_n→R_m$是一个从欧式n维空间转换到欧式m维空间的函数. 这个函数由m个实函数组成: $y_1(x_1,…,x_n), …, y_m(x_1,…,x_n).$ 这些函数的偏导数(如果存在)可以组成一个m行n列的矩阵, 这就是所谓的雅可比矩阵：

$$\\beginbmatrix \\frac\\partial y_1\\partial x_1 & \\cdots & \\frac\\partial y_1\\partial x_n \\\\ \\vdots & \\ddots & \\vdots \\\\ \\frac\\partial y_m\\partial x_1 & \\cdots & \\frac\\partial y_m\\partial x_n \\endbmatrix$$
本质上是一个列向量对列向量求偏微分。此矩阵表示为:
$J_F(x_1,...,x_n)$ 或者 $\\frac\\partial(y_1,...,y_m)\\partial(x_1,...,x_n)$
如果 $P$是$R_n$中的一点, $F$在$P$点可微分, 那么在这一点的导数由 $J_F(P)$给出(这是求该点导数最简便的方法). 在此情况下, 由 $F(P)$描述的线性算子即接近点 $P$的$F$的最优线性逼近, $x$逼近于$P$:
$F(x)≈F(p)+J_F(p)⋅(x–p)$

Hessian矩阵

在数学中, 海森矩阵(Hessian matrix或Hessian)是一个自变量为向量的实值函数的二阶偏导数组成的方块矩阵, 此函数如下：
$f(x_1,x_2,...,x_n)$
如果f的所有二阶导数都存在, 那么f的海森矩阵即：
$H(f)_ij(x)=D_iD_jf(x)$
其中H(f)为：

⎡⎣⎢⎢⎢⎢⎢⎢⎢海森矩阵和牛顿法

机器学习之求解无约束最优化问题方法(手推公式版)

机器学习之求解无约束最优化问题方法(手推公式版)

梯度下降法和牛顿法的总结与比较

黑塞矩阵（Hessian Matrix）

牛顿法与拟牛顿法的区别与联系