机器学习中的矩阵求导Jacobian矩阵和Hessian矩阵

Posted wx62cea850b9e28

tags:

篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了机器学习中的矩阵求导Jacobian矩阵和Hessian矩阵相关的知识，希望对你有一定的参考价值。


学习总结

（0）回顾矩阵向量化，和 克罗内克积的主要运算法则。
（1）梯度向量是雅克比矩阵的特例。
（2）Hessian矩阵是梯度向量g(x)对自变量x的Jacobian矩阵，描述了函数的局部曲率。

文章目录

零、回顾上一讲

矩阵对矩阵的求导。

假如有p×q矩阵F要对m×n的矩阵X求导，根据第一篇求导布局的定义，矩阵F的pq个元素要对矩阵X的mn个值分别求导，所以求导结果一共有mnpq个，求导的结果如何排列：

0.1 主流的矩阵对矩阵求导定义

现在主流的矩阵对矩阵求导定义是对矩阵先做向量化，然后使用向量对向量的求导。
这里的向量化一般使用列向量，即矩阵对矩阵的求导可以表示为：

对于矩阵F，列向量化，的维度是pq×1的向量，的维度是mn×1的向量。
最终求导的结果，使用分母布局，得到 mn×pq 的矩阵。

0.2 矩阵对矩阵求导的微分法

向量化的矩阵对矩阵求导，主要是为了使用类似于前面讲过的微分法求导。之前（三）标量对向量矩阵求导的微分法里有：
机器学习中的线性代数之矩阵求导

机器学习中的线性代数之矩阵求导

机器学习里的数学：矩阵求导Ⅱ

[转载]机器学习中常用的矩阵求导公式

Jacobian矩阵和Hessian矩阵，LM最优化方法

Matrix Derivative矩阵求导