线性代数之七：矩阵的微分

Posted 2022-12-11 zzulp

向量与矩阵微分基础

---

1 简介

对于可导实函数f在某点x处的导数，有

$$f\'(x)=\\lim_h\\to 0\\fracf(x+h)-f(x)h$$
从形式上，则有：
$$f\'(x) \\cdot h \\approx f(x+h)-f(x)$$
本文将对向量和矩阵微分进行基础性的介绍，补充机器学习中所需要的微分计算基础。

2 $f:R^n \\to R$函数的微分

2.1 微分形式

对于从向量到标量实数的映射$f:R^n \\to R$

若$f$为可微的，则存在$x \\in R^n$ 以及极小值$h \\in R^n$，使得

$$\\langle d_xf,h \\rangle = f(x+h)- f(x)+ o_h \\to 0(h)$$
其中 $o_h \\to 0(h)$为 $h$的高阶无穷小量。

示例：对于$R^2\\to R$的函数 $f([x_1,x_2]^T)=3x_1 + x_2^2$，对于固定点[a,b]和无穷小量[h1,h2]，有：
$$f([a+h_1,b+h_2]^T) = f([a,b]^T)+3h_1 + 2bh_2 +h_2^2$$
因此可得：
$$\\langle d_xf,h \\rangle = d_xf(h)=3h_1 + 2bh_2$$
进而可得： $$d_[a,b]f=[3,2b]^T$$

2.2 梯度形式

$$\\langle \\triangledown_xf,h \\rangle=f(x+h)-f(x)+o_h \\to 0(h)$$
对于2.1中的例子，同样的可导出 $$\\triangledown_[a,b]f=[3,2b]^T$$

2.3 偏导数

定义：

∂f∂xi=limh→0f(线性代数中的各种量理解：标量向量矩阵张量

数学 - 线性代数 - #12 向量空间的衍生：矩阵空间微分方程的解图

矩阵指数函数与常微分方程组求解

线性代数笔记：标量向量矩阵求导

标量向量矩阵张量之间的区别和联系

标量向量矩阵和张量