Part I/ Chapter 2 线性代数基础1

Posted 2022-12-10 rainton-z

1、标量（scalar）、向量（vector）、矩阵（matrix）、张量（tensor）。

2、一些关于矩阵的概念：主对角线（main diagonal）、单位矩阵（identity matrix）、逆矩阵（matrix inversion）、对角矩阵（diagonal matrix）、对称矩阵（symmetric matrix）、正交矩

阵（orthogonal matrix）。

3、对于矩阵的一些操作和运算：转置（transpose）、标量与矩阵相加、标量与矩阵相乘、广播（broadcast）（将向量和矩阵的每一行相加）、向量与矩阵相乘、求逆。

4、矩阵乘积/标准乘积（matrix product）：C=AB  

      元素对应乘积/Hadamard乘积：C=A⊙B

5、线性相关与线性无关。

6、范数（norm）：常用的范数有①L¹范数：||x||₁ =Σ|x_i|   ②L²范数（欧几里得范数）   ③L^∞范数（最大范数）：||x||_∞=max|x_i|

　　→衡量矩阵的大小时，深度学习中常用Frobenius范数：||A||_F=(Σ(A_i,j)²)^1/2

7、向量的点积可以表示为：x^Ty=||x||₂||y||₂cosθ。

8、特征分解（eigendecomposition）：将矩阵分解为一组特征向量和特征值。任意一个实对称矩阵都有特征分解，但可能并不唯一。根据特征值的正负不同，可以将矩阵称为正定

（positive definite）、半正定（positive semidefinite）、负定（negative definite）、半负定矩阵（negative semidefinite）。

9、奇异值分解（singular value decomposition，SVD）：将矩阵分解为奇异向量和奇异值。每个实矩阵都有一个奇异值分解。

10、Moore-Penrose伪逆

11、迹运算Tr(A)：返回矩阵对角元素的和。标量的迹运算是它本身。

12、行列式det(A)