Jacobian矩阵、Hessian矩阵和多元函数的二阶导数

Posted 2023-05-13

参考技术A 设 ，于是关于 的jocobian矩阵 定义为

设 ，则关于 的Hessian矩阵 定义为

如果 具有二阶连续偏导数，则二阶偏导数分母可交换，即 ，这意味着Hessian矩阵此时是一个对称阵。

考虑 的梯度

于是其Jacobian矩阵

显然这是关于 的Hessian矩阵，记为 。█

函数 在 的方向导数 ，其中 是 的方向余弦向量，其中 ，假若将 归一化，即成为单位向量，令 ，于是 。此外设 是关于 的Hessian矩阵。

因为 是单位向量，于是 在 方向的一阶导数是
于是二阶导数为

这个结果是一个二次型的形式，我们可以写成 ，即 。█

从证明中可以看出 。特别要注意 ，后者是拉普拉斯算子 ，运算结果是一个标量。
其证明是，

现在已知在单位向量 方向的二阶导数是 ，如果 是 的特征向量，那么 ，即此时方向的二阶导数就是对应的特征值。█

现在假定 是一个实对称矩阵，则根据相关定理，实对称矩阵一定能够进行正交分解，即它的特征向量互相正交，我们取它的一组单位特征向量 构成 列空间的一组标准正交基，对于任意一个单位方向向量 ，设它在这组基下的坐标为 ，于是 ，从而在这个方向的二阶导数是
因为是相互正交的基，所以 ，于是 ，即其它方向的二阶导数是所有特征值的加权平均数，加权系数向量是 ，这些权重位于0和1之间。为此我们考虑在二维平面上的直角坐标系，向量 是单位向量，则所有这些单位向量的集合是一个单位圆，构成对等关系。显然单位圆上任意点的向量都可以进行正交分解，并且在x、y轴上的投影范围是 ，从而系数平方的范围就是 ，推广到一般向量，就是一个单位超球上的点在各个基向量的投影坐标的平方范围是 。

此外，与 夹角越小的特征向量权重越大。为此，考虑特征向量 与 的内积：

上式第二个等号成立是因为 是一组标准正交基，因此互异内积是0，自内积是1。
另一方面， ，于是我们有 ，因此夹角越小，权重越大。这也证明了权重的平方范围

不严格的说明：由上面的讨论知，在 点处，沿任意单位向量 的二阶导数是 ，如果 是正定矩阵，则 ，换句话说沿着任意方向的二阶导数都是正的，即该点在任意方向的切片图像上都是极小值点，所以它也是函数的极小值点。对于负定矩阵同理。

当 是不定矩阵时， 有正有负，这意味着某方向切片图像中该点是极大值，而另一方向的切片图像，该点是极小值，因此这个点不是函数的极值点。█

这一点对于判定二元函数的Hessian矩阵的正定性很有用（前提是二元函数是有连续二阶偏导数，即Hessian矩阵是对称阵）

Jacobian矩阵，Hessian矩阵和牛顿法

---

转自 : http://jacoxu.com/jacobian%E7%9F%A9%E9%98%B5%E5%92%8Chessian%E7%9F%A9%E9%98%B5/

Jacobian矩阵

在向量分析中, 雅可比矩阵是一阶偏导数以一定方式排列成的矩阵, 其行列式称为雅可比行列式.
雅可比矩阵的重要性在于它体现了一个可微方程与给出点的最优线性逼近. 因此, 雅可比矩阵类似于多元函数的导数.

假设$F: R_n→R_m$是一个从欧式n维空间转换到欧式m维空间的函数. 这个函数由m个实函数组成: $y_1(x_1,…,x_n), …, y_m(x_1,…,x_n).$ 这些函数的偏导数(如果存在)可以组成一个m行n列的矩阵, 这就是所谓的雅可比矩阵：

$$\\beginbmatrix \\frac\\partial y_1\\partial x_1 & \\cdots & \\frac\\partial y_1\\partial x_n \\\\ \\vdots & \\ddots & \\vdots \\\\ \\frac\\partial y_m\\partial x_1 & \\cdots & \\frac\\partial y_m\\partial x_n \\endbmatrix$$
本质上是一个列向量对列向量求偏微分。此矩阵表示为:
$J_F(x_1,...,x_n)$ 或者 $\\frac\\partial(y_1,...,y_m)\\partial(x_1,...,x_n)$
如果 $P$是$R_n$中的一点, $F$在$P$点可微分, 那么在这一点的导数由 $J_F(P)$给出(这是求该点导数最简便的方法). 在此情况下, 由 $F(P)$描述的线性算子即接近点 $P$的$F$的最优线性逼近, $x$逼近于$P$:
$F(x)≈F(p)+J_F(p)⋅(x–p)$

Hessian矩阵

在数学中, 海森矩阵(Hessian matrix或Hessian)是一个自变量为向量的实值函数的二阶偏导数组成的方块矩阵, 此函数如下：
$f(x_1,x_2,...,x_n)$
如果f的所有二阶导数都存在, 那么f的海森矩阵即：
$H(f)_ij(x)=D_iD_jf(x)$
其中H(f)为：

⎡⎣⎢⎢⎢⎢⎢⎢⎢Jacobian矩阵，Hessian矩阵和牛顿法

机器学习中的矩阵求导Jacobian矩阵和Hessian矩阵

Jacobian矩阵和Hessian矩阵

Jacobian矩阵和Hessian矩阵

Jacobian矩阵和Hessian矩阵，LM最优化方法

Hessian矩阵