矩阵简单导数运算
Posted lgxo
tags:
篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了矩阵简单导数运算相关的知识，希望对你有一定的参考价值。
目录
前言
以下内容均假设运算可以成立
向量与标量之间
向量与标量之间的导数均是向量，其第
i
i
i 个分量分别为
(
∂
a
⃗
∂
x
)
i
=
∂
a
i
⃗
∂
x
(\\frac\\partial \\veca\\partial x)_i = \\frac\\partial \\veca_i\\partial x
(∂x∂a)i=∂x∂ai
(
∂
x
∂
a
⃗
)
i
=
∂
x
∂
a
i
⃗
(\\frac\\partial x\\partial \\veca)_i = \\frac\\partial x\\partial \\veca_i
(∂a∂x)i=∂ai∂x
矩阵与标量之间
矩阵与标量之间的导数均是矩阵，其第
i
i
i 行第
j
j
j 列元素分别为
(
∂
A
∂
x
)
i
j
=
∂
A
i
j
∂
x
(\\frac\\partial \\mathbfA \\partial x)_ij = \\frac\\partial A_ij\\partial x
(∂x∂A)ij=∂x∂Aij
(
∂
x
∂
A
)
i
j
=
∂
x
∂
A
i
j
(\\frac\\partial x\\partial \\mathbfA)_ij = \\frac\\partial x\\partial A_ij
(∂A∂x)ij=∂Aij∂x
函数关于向量
一阶导
一阶导数是向量，其第
i
i
i 个分量为
(
∇
f
(
x
)
)
i
=
∂
f
(
x
)
∂
x
i
(\\nabla f(x))_i = \\frac\\partial f(x)\\partial x_i
(∇f(x))i=∂xi∂f(x)
二阶导（海森矩阵）
二阶导数是矩阵，其第
i
i
i 行第
j
j
j 列元素为
(
∇
2
f
(
x
)
)
i
j
=
∂
2
f
(
x
)
∂
x
i
∂
x
j
(\\nabla^2f(x))_ij = \\frac\\partial^2 f(x)\\partial x_i \\partial x_j
(∇2f(x))ij=∂xi∂xj∂2f(x)
规则
向量和矩阵的导数满足乘法法则
此 处 a 相 对 于 x 为 常 量 此处a相对于x为常量 此处a相对于x为常量
∂
x
T
a
∂
x
=
∂
a
T
x
x
=
a
\\frac\\partial x^Ta\\partial x = \\frac\\partial a^Txx = a
∂x∂xTa=x∂aTx=a
∂
A
B
∂
x
=
∂
A
∂
x
B
+
A
∂
B
∂
x
\\frac\\partial AB\\partial x = \\frac\\partial A\\partial xB + A\\frac\\partial B\\partial x
∂x∂AB=∂x∂AB+A∂x∂B
逆矩阵的导数表示
∂
A
−
1
∂
x
=
−
A
−
1
∂
A
∂
x
A
−
1
\\frac\\partial A^-1\\partial x = -A^-1\\frac\\partial A\\partial xA^-1
∂x∂A−1=−A−1∂x∂AA−1
此处
A
−
1
A
=
I
A^-1A = I
A−1A=I
求导的标量是矩阵元素
∂
t
r
(
A
B
)
∂
A
i
j
=
B
j
i
\\frac\\partial\\ tr(AB)\\partial A_ij = B_ji
∂Aij∂ tr(AB)=Bji 以上是关于矩阵简单导数运算的主要内容，如果未能解决你的问题，请参考以下文章
∂
t
r
(
A
B
)
∂
A
=
B
T
\\frac\\partial\\ tr(AB)\\partial A = B^T
∂A∂ tr(AB)=BT
进而有
∂
t
r
(
A
T
B
)
∂
A
=
B
\\frac\\partial\\ tr(A^TB)\\partial A = B
∂A∂ tr(ATB)=B
∂
t
r
(
A
)
∂
A
=
I
\\frac\\partial\\ tr(A)\\partial A = I
∂A∂ tr(A)<