线性代数之——正交向量与子空间

Posted seniusen

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了线性代数之——正交向量与子空间相关的知识,希望对你有一定的参考价值。

1. 正交子空间

两个向量垂直,意味着 (v^Tw=0)

两个子空间 (oldsymbol V)(oldsymbol W) 是正交的,如果(oldsymbol V) 中的每个向量 (v) 都垂直于 (oldsymbol W) 中的每个向量 (w)

想象你处在一个房间里,那么地面是一个子空间 (oldsymbol V),两面墙的交线是另一个子空间 (oldsymbol W),这两个子空间是正交的。

两面看起来垂直的墙不是正交的,因为它们相交于一条直线,这条直线同时存在于两个子空间,它不可能自己垂直于自己。

两个 (oldsymbol R^3) 空间中的二维平面不可能正交,当两个子空间的维数之和大于整个空间的维数时,这两个子空间肯定不是正交的。

技术分享图片

如果一个向量同时位于两个正交的子空间内,那这个向量一定是零向量,只有零向量自己垂直于自己

零向量是零空间和行空间的唯一交点,并且零空间和行空间是 (oldsymbol R^n) 中正交的两个子空间。

(Ax=0) 可得,行空间中的每个向量和零空间中的每个向量都是垂直的,因此它们是正交的子空间。

技术分享图片

另一方面,(A^Ty) 是对 (A) 的行的线性组合,那么有

[x^T(A^Ty) = (x^TA^T)y = (Ax)^Ty = 0]

即,所有 (A) 的行的线性组合都垂直于 (x)

左零空间和列空间是 (oldsymbol R^m) 中正交的两个子空间。

技术分享图片

2. 正交补

基本空间不仅仅是正交的,它们的维数也刚刚好。行空间的维数为 (r),零空间的维数为 (n-r),和为 (n)。列空间的维数为 (r),左零空间的维数为 (m-r),和为 (m)

(oldsymbol R^3) 空间中的两条直线也可以是垂直的,但它们不可能是一个 3×3 矩阵的行空间和零空间。

一个子空间 (oldsymbol V)正交补(orthogonal complement)包含所有垂直于 (oldsymbol V) 的向量 ,称为 (oldsymbol V^perp)

由这个定义,那么零空间 (N(A))(oldsymbol R^n) 中行空间 (C(A^T)) 的正交补,左零空间 (N(A^T))(oldsymbol R^m) 中列空间 (C(A)) 的正交补。

技术分享图片

补的意思是说每个向量 (x),都可以表示为行空间分量 (x_r) 和零空间分量 (x_n) 的和,那么有:

[Ax_n =0]
[Ax_r =Ax]

所有的向量都去到了列空间,乘以 (A) 后没有做其它的事情。

技术分享图片

而且,任何列空间中的向量 (b) 都来自于行空间中的唯一一个向量。如果有 (Ax_r = Ax_r‘),那么 (x_r-x_r‘) 就位于零空间中,而且它也位于行空间中,所以它一定为零向量,也就是 (x_r=x_r‘)

3. 基和子空间

任何 (oldsymbol R^n) 空间中的 (n) 个不相关向量一定扩充出 (oldsymbol R^n) 空间,因此它们是一个基。

任何扩充出 (oldsymbol R^n) 空间的 (n) 个向量一定是不相关的,因此它们是一个基。

如果 (A) 中的 (n) 列是不相关的,则它们扩充出 (oldsymbol R^n) 空间,因此 (Ax=b) 是可解的。

如果 (n) 列扩充出 (oldsymbol R^n) 空间,则它们是不相关的,因此 (Ax=b) 有唯一解。

获取更多精彩,请关注「seniusen」!
技术分享图片



以上是关于线性代数之——正交向量与子空间的主要内容,如果未能解决你的问题,请参考以下文章

数学-线性代数-#6 线性代数-#6 向量空间列空间R^n与子空间

机器学习线性代数

机器学习|数学基础Mathematics for Machine Learning系列之线性代数(15):向量的内积长度及正交性

线性代数之五:正交性

李宏毅线性代数11: 正交(Orthogonality)

从PCAPLS-DAOPLS-DA学习线性代数和矩阵