矩阵求导

Posted 2020-12-21 cy0628

一、矩阵求导:

一般来讲，我们约定x=(x1,x2,x3....xn)的转置,这是分母布局，当然还有分子布局。常见的矩阵求导方式有：向量对向量求导，标量对向量求导，向量对标量求导。

1、向量对向量求导 

       注释： Numerator layout : 分子布局

                  Denominator layout : 分母布局

                《多元统计分析》课堂，按照分子布局来讲。

2、标量对向量求导

3、向量对标量求导

二、几种重要的矩阵（参见我另一篇博客：https://www.cnblogs.com/cy0628/p/13815909.html）

1、梯度（Gradient）

2、雅克比矩阵（Jacobian matrix）

3、海森矩阵（Hessian matrix）

三、常用的矩阵求导公式

另外：我觉得知乎上某人写的挺好，现给出链接供参考：https://zhuanlan.zhihu.com/p/24709748

书籍推荐：The matrix cookbook （矩阵计算）pdf版本，适合矩阵求导和计算，下载链接：https://pan.baidu.com/s/1CzVIct_1J1pOkOIWW2o_7w

 

参考文献：The matrix cookbook 

                  https://www.cnblogs.com/jiaxinwei/p/11450561.html