矩阵运算矩阵的迹以及迹对矩阵求导总结

Posted 2023-02-17 飞凡可期

tags:

篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了矩阵运算矩阵的迹以及迹对矩阵求导总结相关的知识，希望对你有一定的参考价值。

矩阵求导最终都是华为标量求导，迹就是最简单的衡量标量一定要掌握

迹求导原因
- 总结
- 技巧

迹求导原因

矩阵求导最终都是华为标量求导，迹就是最简单的衡量标量一定要掌握

总结

$T r (A B) = T r (B A)$
$T r (A B C) = T r (B C A) = T r (C A B)$
$T r (A) = T r (A^{'})$
$d (T r (X B) ） = d (T r (B X)) = B^{'}$
X作为自变量（矩阵），若
$d (T r (X^{'} B)) = d (T r (B^{'} X) = B$
$d T r (A^{'} X B^{'}) = d T r (B X^{'} A) = d T r (X^{'} A B) = A B$
还有终极的二次X：
$d T r (A X B X^{'}) = T r (A X B d (X^{'})) + T r (X B^{'} d (X^{'}) A^{'}) = A X B + A^{'} X B^{'}$

技巧

掌握根本的定义公式足够应付形式的千变万化；
【定义】矩阵迹就是对对角线求和：
$\\Sigmaa_ii$
自然，转置时候，aii不动的，Tr(A) = Tr(A’)
【AB矩阵乘】AB大小分别为mxn和nxm，那么迹就是
$\\Sigma_i^m \\Sigma_j^n a_ijb_ji$
关键就在AB乘积，迹是遍历两个维度m,n维度的有序ab乘积，所以颠倒乘法顺序，仍然是 $\\Sigma_j^n \\Sigma_i^mb_ji a_ij=Tr(BA)$ 没有任何差异。
【求导】因为和 $X_ij$ 配对的永远是 $b_ji$ ,所以有
$d(Tr(AB))/d(a_ji) =d( \\Sigma_i^m \\Sigma_j^n a_ijb_ji)/d(a_ij)=b_ji$
所以自然Tr(AB)偏导为B’,有个转置，这是由于矩阵乘法行列相差的关联关系导致的。

所有相关的偏导都会有这个结果：
$d (T r (X^{'} B)) = d (T r (B^{'} X) = B$
$d T r (A^{'} X B^{'}) = d T r (B X^{'} A) = d T r (X^{'} A B) = A B$
还有终极的二次X：
$d T r (A X B X^{'}) = T r (A X B d (X^{'})) + T r (X B^{'} d (X^{'}) A^{'}) = A X B + A^{'} X B^{'}$

以上是关于矩阵运算矩阵的迹以及迹对矩阵求导总结的主要内容，如果未能解决你的问题，请参考以下文章

矩阵运算矩阵的迹以及迹对矩阵求导总结

动手学深度学习v2学习笔记02：线性代数矩阵计算自动求导

矩阵的基本性质之正规矩阵，矩阵的迹，行列式，伴随矩阵，矩阵的逆，对角矩阵，矩阵求导

机器学习中的矩阵向量求导矩阵向量求导之微分法

详解矩阵求导法则

矩阵运算矩阵的迹以及迹对矩阵求导总结

矩阵求导最终都是华为标量求导，迹就是最简单的衡量标量 一定要掌握

迹求导原因

总结

技巧

矩阵求导最终都是华为标量求导，迹就是最简单的衡量标量一定要掌握