最优化 梯度 海塞矩阵
Posted 夜游星
tags:
篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了最优化 梯度 海塞矩阵相关的知识，希望对你有一定的参考价值。
一、方向导数
lim t->0 f(x0+td)-f(x0) / t 存在
则该极限为f在x0处沿方向d的方向导数
记为
∂ f/∂ d
下降方向：
方向导数∂ f/∂ d <0 ，则d为f在x0处的下降方向
二、梯度
对于向量x,若每个偏导数
∂ f/∂ x(i) 都存在
则列向量为f在x处的梯度
记号
▽f(x)
三、可微与梯度
可微则一定存在梯度
梯度存在不一定可微
定理
若f在x处可微，则 方向导数=梯度 的转置*方向向量d
四、海塞矩阵
（Hessian Matrix），又译作海森矩阵、海瑟矩阵、海塞矩阵等，是一个多元函数的二阶偏导数构成的方阵，描述了函数的局部曲率。
海塞矩阵由目标函数 f在点x处的二阶偏导数组成的 n×n阶矩阵
当二阶偏导连续，矩阵为对称矩阵
以上是关于最优化 梯度 海塞矩阵的主要内容，如果未能解决你的问题，请参考以下文章