机器学习数学基础

Posted 2021-02-28 tingweichen

线性代数

范数

范数是一个表示向量长度大小的量函数，对于一个N维向量a，一个常见的范数函数为(l_{p})范数

[l_{p}(mathbf{a})=lvert lvert mathbf{a} vert vert_{p}= (sum_{n=1}^{N}lvert mathbf{a_{n}} vert^p)^{1/p} ]

• (l_1)范数：向量各个元素的绝对值之和

  [lvert lvert mathbf{a} vert vert_{1}=sum_{n=1}^N lvert a_{n} vert ]

• (l_{2})范数：向量的各个元素的平方和再开平方

  [vert lvert mathbf{a} vert vert_{2}= sqrt{sum_{n=1}^N a_{n}^2}=sqrt{mathbf{a}^Tmathbf{a}} ]

• (l_{infty})范数：向量的各个元素的最大绝对值。

  [lvert lvert mathbf{a} vert vert_{infty}=max(a_{1},cdots, v_{n}) ]

矩阵

• Hadamard积：矩阵A和矩阵B的Hadamard积也称为逐点乘积，为矩阵A和矩阵B中的对应元素的乘积

  [[A odot B]_{ij}=a_{ij}*b_{ij} ]

• Kronecker积：如果矩阵A是一个(M*N)的矩阵，矩阵B是一个(P*Q)的矩阵，那么它们的Kronecker积为是一个(MP*NQ)的矩阵。

  [[mathbf{A} otimes mathbf{B}]= left[ egin{matrix} a_{11} mathbf{B}& a_{12} mathbf{B} & cdots & a_{1n}mathbf{B} a_{21} mathbf{B}&a_{22} mathbf{B} & cdots & a_{2n}mathbf{B}\vdots&vdots&vdots a_{m1}mathbf{B} & a_{M2}mathbf{B}& cdots&a_{mn}mathbf{B} end{matrix} ight ] ]

• 向量化：矩阵的向量化是将一个矩阵表示为一个列向量，令(A=[a_{ij}]_{MN})那么向量化(vec())

  [vec(mathbf{A})=[a_{11},a_{21},cdots,a_{M1},a_{12},a_{22},cdots,a_{M2},cdots,a_{1N},a_{2N},cdots,a_{MN}]^T ]

• 迹：方块矩阵A的对角线元素之和为它的迹，记为(tr{A})。

• 秩：一个矩阵A的列秩是A的线性无关的列向量数量，行秩是矩阵A的线性无关的行向量的个数。一个矩阵的列秩和行秩总是相等的。

微积分

矩阵微积分

分子布局和分母布局：区别是一个标量关于一个向量的导数是写成列向量还是行向量。下面的矩阵微积分默认为分母布局。即表示成列向量。

向量函数及其导数：

[frac{partial mathbf{x}}{partial mathbf{x}}=mathbf{I}\frac{partial mathbf{Ax}}{partial mathbf{x}}=mathbf{A}^T\frac{partial mathbf{x}^T mathbf{A}}{partial mathbf{x}}=mathbf{A}\]