hessian 矩阵

Posted

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了hessian 矩阵相关的知识,希望对你有一定的参考价值。

怎么求导求出来矩阵了?什么意思?
解释下
3q
yzx 泰勒展的结果?不懂,展开了就成矩阵了?
麻烦再说说,我给你加分~~

黑塞矩阵是用来判断该点是不是极值点的,具体的就是把多元函数的2阶偏导数(不是有很多种嘛)拼成一个矩阵,并不是求导求出来的一个矩阵。具体的极值条件去看你的数学分析或者微积分书吧,在拉格朗日乘子法或者是多元函数极值里面应该都会涉及到的。

其实大概想想也可以想出来,那个黑塞矩阵实际上就是泰勒展开以后的结果,只不过写成矩阵的形式,所以取极大值就要负定取极小值就要正定。
参考技术A 可参看《连续体和结构的非线性有限元》,庄茁译。P280-281,6.3.6保守问题。有具体的应用。

Hessian矩阵

在数学中,海塞矩阵是一个自变量为向量的实值函数的二阶偏导数组成的方块矩阵,一元函数就是二阶导,多元函数就是二阶偏导组成的矩阵。求向量函数最小值时可以使用,矩阵正定是最小值存在的充分条件。经济学中常常遇到求最优的问题,目标函数是多元非线性函数的极值问题,尚无一般的求解方法,但判定局部极小值的方法就是用hessian矩阵:

在x0点上,hessian矩阵是负定的,且各分量的一阶偏导数为0,则x0为极大值点。

在x0点上,hessian矩阵式正定的,且各分量的一阶偏导数为0,则x0为极小值点。

矩阵是负定的充要条件是各个特征值均为负数。

矩阵是正定的充要条件是各个特征值均为正数。

函数如下:

如果f所有的二阶导数都存在,那么f的海塞矩阵即为:H(f)ij(x) = DiDjf(x),即

(也有人把海色定义为以上矩阵的行列式)海赛矩阵被应用于牛顿法解决的大规模优化问题。

 

性质

对称性:如果函数f在D区域内二阶连续可导,那么f海塞矩阵H(f)在D内为对称矩阵。原因是:如果函数f连续,则二阶偏导数的求导顺序没有区别,即:

则对于海塞矩阵H(f),有,所以为对称矩阵。

多元函数极值的判定

如果实值多元函数二阶连续可导,并且在临界点M(xi)(其中i=1,2,...,n,并且Xi已知)处梯度(一阶导数)等于0,即,则M为驻点。仅通过一阶导数无法判断在临界点M处是极大值还是极小值。

记f在M点处的黑塞矩阵为H(M)。由于f在M点处连续,所以H(M)是一个的对称矩阵,对于H(M),由如下结论:

  • 如果H(M)是正定矩阵,则临界点M处是一个局部的极小值。
  • 如果H(M)是负定矩阵,则临界点M处是一个局部的极大值。
  • 如果H(M)是不定矩阵,则临界点M处不是极值。

 reference:

               Hessian矩阵【转】

               BFGS算法

 

以上是关于hessian 矩阵的主要内容,如果未能解决你的问题,请参考以下文章

Hessian矩阵

使用python求海森Hessian矩阵

Jacobian矩阵、Hessian矩阵和多元函数的二阶导数

Jacobian矩阵和Hessian矩阵

请问哪本教材介绍了海森(Hessian)矩阵

PyTorch:仅针对参数子集计算 Hessian?