机器学习｜数学基础Mathematics for Machine Learning系列之线性代数：矩阵的初等变换
Posted 海轰Pro
tags:
篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了机器学习｜数学基础Mathematics for Machine Learning系列之线性代数：矩阵的初等变换相关的知识，希望对你有一定的参考价值。
前言
Hello！小伙伴！
非常感谢您阅读海轰的文章，倘若文中有错误的地方，欢迎您指出～
自我介绍 ଘ(੭ˊᵕˋ)੭
昵称：海轰
标签：程序猿｜C++选手｜学生
简介：因C语言结识编程，随后转入计算机专业，有幸拿过一些国奖、省奖…已保研。目前正在学习C++/Linux/Python
学习经验：扎实基础 + 多做笔记 + 多敲代码 + 多思考 + 学好英语！
机器学习小白阶段
文章仅作为自己的学习笔记 用于知识体系建立以及复习
知其然 知其所以然！
往期文章
【机器学习｜数学基础】Mathematics for Machine Learning系列之线性代数（1）：二阶与三阶行列式、全排列及其逆序数
【机器学习｜数学基础】Mathematics for Machine Learning系列之线性代数（2）：n阶行列式、对换
【机器学习｜数学基础】Mathematics for Machine Learning系列之线性代数（3）：行列式的性质
【机器学习｜数学基础】Mathematics for Machine Learning系列之线性代数（4）：行列式按行（列）展开
【机器学习｜数学基础】Mathematics for Machine Learning系列之线性代数（5）：克拉默法则
【机器学习｜数学基础】Mathematics for Machine Learning系列之线性代数（6）：矩阵的运算
【机器学习｜数学基础】Mathematics for Machine Learning系列之线性代数（7）：逆矩阵
3.1 矩阵的初等变换
定义
矩阵的初等行变换
- 对调两行（对调i，j两行，记作 r i ↔ r j r_{i}\\leftrightarrow r_{j} ri↔rj）
- 以数 k ≠ 0 k\\neq 0 k=0乘某一行中的所有元素（第i行乘以k，记作 r i × k r_{i}×k ri×k）
- 把某一行所有的元素的k倍加到另一行对应的元素上（第j行的k倍加到第i行上，记作 r i + k r j r_{i}+kr_{j} ri+krj）
列变换同理，对列进行相应的操作（也是上面三种操作）
初等行变换、列变换统称初等变换。
如果矩阵A经过有限次初等行变换变成B，就称矩阵A与B行等价，记作
A
∼
r
B
A\\stackrel{r}{\\sim}B
A∼rB
如果矩阵A经过有限次初等列变换变成B，就称矩阵A与B列等价，记作 A ∼ c B A\\stackrel{c}{\\sim}B A∼cB
如果矩阵A经过有限次初等变换变成矩阵B，那么称矩阵A与B等价，记作 A ～ B A～B A～B
注：
后文中使用如下符号代表行、列变换
A ∼ r B 代 表 A 通 过 列 变 换 到 B A\\stackrel{r}{\\sim}B代表A通过 列 变换到B A∼rB代表A通过列变换到B
A ∼ c B 代 表 A 通 过 列 变 换 到 B A\\stackrel{c}{\\sim}B 代表A通过 列 变换到B A∼cB代表A通过列变换到B
等价具有的性质
矩阵之间的等价关系具有以下性质：
- 反身性 A ～ A A～A A～A
- 对称性 若 A ～ B A～B A～B，则 B ～ A B～A B～A
- 传递性 若 A ～ B ， B ～ C A～B，B～C A～B，B～C，则 A ～ C A～C A～C
矩阵类型
1、行阶梯形矩阵
可以画出一条阶梯线，线的下方全为0；
每一个台阶只有一行，台阶数即是非零行的行数，阶梯线的竖线后面的第一个元素为非零元，也就是非零行的第一个非零元。
2、行最简形矩阵
在行阶梯形矩阵定义的基础之上还要求：
- 非零行的第一个非零元为1
- 且这些非零元所处的列的其他元素为0.
任何矩阵
A
m
×
n
A_{m×n}
Am×n总可经过有限次初等变换将其变为行阶梯形矩阵、行最简形矩阵。
3、标准形矩阵
对行最简形矩阵再进行处等列变换，可以得到一种形状更简单的矩阵，成为标准形矩阵。
其特点是左上角是一个单位矩阵，其余元素均为0.
对于矩阵A，总可以经过一系列初等变换转化为标准形矩阵F
其中r为行阶梯形矩阵中非零行的行数。
4、初等矩阵
由单位矩阵E经过一次初等变换得到的矩阵称为初等矩阵
有三种初等变换，则有三种初等矩阵，下面以行初等变换为例
（1）将单位矩阵中的第i、j行对调，得初等矩阵
用m阶初等矩阵
E
m
(
i
,
j
)
E_m(i,j)
Em(i,j)左乘矩阵A，其中
A
=
(
a
i
j
)
m
∗
n
A=(a_{ij})_{m*n}
A=(aij)m∗n，得到
观察结果，可以发现最终结果其实就是将A矩阵中第i、j行进行了对调 （ r i ↔ r j ） （r_i \\leftrightarrow r_j） （ri↔rj）
举个实际例子（左乘）：
对调单位矩阵的第1、3行
同理，以n阶初等矩阵右乘矩阵A，结果就是相对于对矩阵A进行列变换
（2）以数
k
!
=
0
k!=0
k!=0乘单位矩阵的第i行（或第i列），得到初等矩阵
可以发现，矩阵 E m ( i ( k ) ) E_m(i(k)) Em(i(k))左乘矩阵A，结果就是相对于数k乘以A的第i行
举个实际例子（左乘）：
单位矩阵第二行乘以k=2
同理，
E
m
(
i
(
k
)
)
E_m(i(k))
Em(i(k))右乘A，相当于k乘以A的第i列
（3）以k乘E的第j行加到第i行（或k乘以第j列加到第i列），得到初等矩阵
左乘时，相当于把矩阵A的第j行乘k加到第i行上
举个实际例子（左乘）：
单位矩阵第3行乘以k=2加到第2行上
同理，右乘时，相当于把矩阵A的第j列乘k加到第i列上
性质
从上面的讨论中，可以得出
性质1
设A是一个m*n矩阵
- 对A施加一次初等行变换，相当于在A的左边乘以相应的m阶初等矩阵；
- 对A施加一次初等列变换，相当于在A的右边乘以相应的n阶初等矩阵
初等矩阵都是可逆的，且其逆矩阵都是同一类型的初等矩阵
- E ( i , j ) − 1 = E ( i , j ) E(i,j)^{-1} = E(i,j) E(i,j)−1=E(i,j)
- E ( i ( k ) ) − 1 = E ( i ( 1 k ) ) E(i(k))^{-1}=E(i(\\frac{1}{k})) E(i(k))−1=E(i(k1))
- E ( i j ( k ) ) − 1 = E ( i j ( − k ) ) E(ij(k))^{-1}=E(ij(-k)) E(ij(k))−1=E(ij(−k))
注意
- E ( i ( k ) ) 是 指 对 单 位 矩 阵 第 i 行 乘 以 k E(i(k))是指对单位矩阵第i行乘以k E(i(k))是指对单位矩阵第i行乘以k
- E ( i j ( k ) ) 是 指 单 位 矩 阵 第 i 行 加 上 第 j 行 乘 以 k E(ij(k))是指单位矩阵第i行 加上 第j行乘以k E(ij(k))是指单位矩阵第i行加上第j行乘以k
实例演示
设3阶单位阵E
E
=
[
1
0
0
0
1
0
0
0
1
]
E=\\begin{bmatrix} 1 & 0 & 0\\\\ 0 & 1 & 0\\\\ 0 & 0 & 1 \\end{bmatrix}
E=⎣⎡100010001⎦⎤
很显然
- (E)E=E
- E(E)=E
所以单位阵的逆矩阵为其本身 即 E ( i , j ) − 1 = E ( i , j ) E(i,j)^{-1} = E(i,j) E(i,j)−1=E(i,j)
假设对E的第二行乘以2
得到
E
(
i
(
2
)
)
=
[
1
0
0
0
2
0
0
0
1
]
(
i
=
2
，
表
示
第
二
行
)
E(i(2)) =\\begin{bmatrix} 1 & 0 & 0\\\\ 0 & 2 & 0\\\\ 0 & 0 & 1 \\end{bmatrix}(i = 2，表示第二行)
E(i(2))=⎣⎡100020001⎦⎤(i=2，表示第二行)
那么
E
(
i
(
2
)
)
−
1
=
E
(
i
(
1
2
)
)
=
以上是关于机器学习｜数学基础Mathematics for Machine Learning系列之线性代数：矩阵的初等变换的主要内容，如果未能解决你的问题，请参考以下文章 机器学习｜数学基础Mathematics for Machine Learning系列之图论：树及其性质 机器学习｜数学基础Mathematics for Machine Learning系列之图论：树及其性质 机器学习｜数学基础Mathematics for Machine Learning系列之图论（10）：匹配基本定理 机器学习｜数学基础Mathematics for Machine Learning系列之图论（10）：匹配基本定理 机器学习｜数学基础Mathematics for Machine Learning系列之图论（10）：匹配基本定理 机器学习｜数学基础Mathematics for Machine Learning系列之矩阵理论（16）：向量和矩阵的极限