深度学习2. 基础——线性相关生成子空间范数特征分解

Posted 2023-03-13 编程圈子

深度学习2. 基础——线性相关、生成子空间、范数、特征分解

• • 一、一些线性代数概念
  • • 1. 余子式
    • • 1.1.1 行列式余子式
      • 1.1.2 矩阵余子式
    • 2. 秩
  • 二、线性组合 （linear combination）
  • • 1. 标量的线性组合
    • 2. 矢量的线性组合
    • 3. 生成子空间
    • 4. 线性相关
    • 5. 方阵（square)
    • 6. 奇异的方阵（singular）
  • 三、范数
  • 四、特殊的矩阵和向量
  • • 1. 对角矩阵（diagonal matrix）
    • 2. 对称矩阵（symmetric）
    • 3. 单位向量（unit vector）
    • 4. 正交矩阵（orthogonal matrix）
  • 五、特征分解（eigendercomposition）
  • 六、奇异值分解
  • 七、Moore-Penrose 伪逆
  • 八、迹运算
  • 九、行列式

一、一些线性代数概念

1. 余子式

行列式的阶越低越容易计算，于是很自然地提出，能否把高阶行列式转换为低阶行列式来计算，为此，引入了余子式和代数余子式的概念。
在$n$阶行列式中，把所在的第i行与第$j$列划去后，所留下来的$n-1$阶行列式叫元的余子式。
数学表示上计作$M_{ij}$。

1.1.1 行列式余子式

余子式定义
$a_{ij}$ 的代数余子式 $A_{ij}=(-1{)}^{i+j}{M}_{ij}$

行列式等于它任意一行(列)的各元素与其对应的代数式余子式乘积之和。

1.1.2 矩阵余子式

设$A$为一个 $m\times n$ 的矩阵，k为一个介于1和$m$之间的整数，并且$m\le n$。$A$的一个$k$阶子式是在A中选取$k$行$k$列之后所产生的$k$个交点组成的方块矩阵的行列式。

$A$的一个$k$阶余子式是$A$去掉了$m-k$行与$n-k$列之后得到的$k\times k$矩阵的行列式 。
由于一共有k种方法来选择该保留的行，有k种方法来选择该保留的列，因此A的k阶余子式一共有 $C_{m\ast }^k{C}^k{k}_n$个。

如果$m=n$，那么$A$关于一个$k$阶子式的余子式，是$A$去掉了这个$k$阶子式所在的行与列之后得到的$(n-k)\times (n-k)$矩阵的行列式，简称为$A$的$k$阶余子式。

$n\times n$的方块矩阵$A$关于第$i$行第$j$列的余子式$M_{ij}$是指$A$中去掉第$i$行第$j$列后得到的$n-1$阶子矩阵的行列式。有时可以简称为$A$的$（i，j）$余子式。

2. 秩

秩是线性代数术语，在线性代数中，一个矩阵A的列秩是 A的线性无关的纵列的极大数目。类似地，行秩是 A的线性无关的横行的极大数目。
方阵的列秩和行秩总是相等的，因此它们可以简单地称作矩阵 A的秩。通常表示为 rk(A) 或 rank A。

二、线性组合 （linear combination）

定义一个包含 $k$ 个实数变量的集合$x_1,x_2,...,x_k$ ,且假设已知一个$k$个实数权重集合 $w_1,w_2,...,w_k$ 。我们定义$$s=w_1{x}_1+w_2{x}_2+,...,+w_k{x}_k$$
s变量是对变量x的加权线性”混合”。因此，将s定义为变量的线性组合。
可以将线性组合的概念推广到矢量中。定义每个$x_i$ 是一个矢量，因此，它们的线性组合s也是一个矢量。当然．每个矢量必须有相同数量的元素。请注意，s的每个分量都是一个由被组合矢量的相对应元素构成的线性组合。

1. 标量的线性组合

形式上，一组向量的线性组合，是指每个向量乘以对应标量系数之后的和，即：
$$\sum _i{c}_i{v}^{(i)}$$
定义标量为2，4，1，5，权重为0.1，0.4，0.25，0.25。求其线性组合s。
解：线性组合
$$s=0.1\ast 2+0.4\ast 4+0.25\ast 1+0.25\ast 5=3.3$$

2. 矢量的线性组合

$$A_x=\sum _i{x}_i{A}_{:,j}$$

3. 生成子空间

一组向量的生成子空间（span）是原始向量线性组合后所能抵达的点的集合。
确定 $Ax=b$ 是否有解，相当于确定向量b 是否在 A 列向量的生成子空间中。这个特殊的生成子空间被称为 A 的列空间 （column space）或者 A的值域（range）。

4. 线性相关

在线性代数里，矢量空间的一组元素中，若没有矢量可用有限个其他矢量的线性组合所表示，则称为线性无关或线性独立 (linearly independent)，反之称为线性相关(linearly dependent)。
例如在三维欧几里得空间R的三个矢量(1, 0, 0)，(0, 1, 0)和(0, 0, 1)线性无关；但(2, −1, 1)，(1, 0, 1)和(3, −1, 2)线性相关，因为第三个是前两个的和。

5. 方阵（square)

m=n的矩阵
方阵的左逆和右逆是相等的。

6. 奇异的方阵（singular）

奇异矩阵是线性代数的概念，就是该矩阵的秩不是满秩。首先，看这个矩阵是不是方阵（即行数和列数相等的矩阵。若行数和列数不相等，那就谈不上奇异矩阵和非奇异矩阵）。
然后，再看此矩阵的行列式|A|是否等于0，若等于0，称矩阵A为奇异矩阵；若不等于0，称矩阵A为非奇异矩阵。 同时，由|A|≠0可知矩阵A可逆，这样可以得出另外一个重要结论:

1. 可逆矩阵就是非奇异矩阵
2. 非奇异矩阵也是可逆矩阵
3. 如果A为奇异矩阵，则$AX=0$有无穷解，$AX=b$有无穷解或者无解。
4. 如果A为非奇异矩阵，则$AX=0$有且只有唯一零解，$AX=b$有唯一解。

三、范数

有时我们需要衡量一个向量的大小。在机器学习中，我们经常使用称为**范数（norm）**的函数来衡量向量大小。形式上， $L^p$范数定义为：
$$\Vert \begin{array}{c}x\end{array}\Vert =(\sum _i|x_i$$

《深度学习笔记》——线性代数基础

第二章 线性代数

深度学习（deeplearing）（5月完成）共三部分 第一部分应用数学与机器学习（5.1-5.10）线性代数

机器学习中的数学基础

线性代数知识回顾：矩阵的秩，矩阵的范数，矩阵的条件数，矩阵的特征值和特征向量

深度学习深度学习基础知识