线性代数之——子空间投影
Posted seniusen
tags:
篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了线性代数之——子空间投影相关的知识,希望对你有一定的参考价值。
1. 投影
向量 $ b = (2, 3, 4)$ 在 (z) 轴上和在 (xy) 平面上的投影是什么,哪个矩阵能产生到一条线上和到一个平面的投影?
当 (b) 被投影到 (z) 轴上时,它的投影 (p) 就是 (b) 沿着那条线的部分。当 (b) 被投影到一个平面时,它的投影就是 (b) 在平面中的部分。
到 (z) 轴上的投影 (p_1 = (0, 0, 4)),到 (xy) 平面上的投影 (p_2 = (2, 3, 0)),两个投影矩阵 (P_1) 和 (P_2) 分别为
(P_1) 就是选出每个向量的 (z) 分量, (P_2) 就是选出每个向量的 (x) 和 (y) 分量。
在这个例子中,(z) 轴和 (xy) 平面是正交子空间,就像地面和两面墙的交线一样。
除此之外,它们还是正交补的。整个空间的任意向量都可以表示为它们在两个子空间中分量的和。
2. 到一条线上的投影
假设一条过原点的直线方向为 (a = (a_1, a_2,cdots, a_m)),我们要将点 (b = (b_1, b_2,cdots, b_m)) 投影到这条直线上。
投影 (p) 和 (a) 在一条直线上,因此有 (p = hat xa),误差 (e = b-p = b-hat xa),然后由 (e) 垂直于 (a),我们可得。
[e cdot a = 0 o (b-hat xa) cdot a = 0 o acdot b - hat x acdot a = 0]
因此,可求得系数 (hat x) 为
[hat x = frac{acdot b}{acdot a} = frac{a^Tb}{a^Ta}]
投影为 (p = hat x a = frac{a^Tb}{a^Ta} a)。
如果 (b=a),那么 (hat x = 1),投影还是它自己,(Pa = a)。 如果 (bperp a),那么 (hat x = 0),投影为 0。
将投影重写为 (p = a hat x =a frac{a^Tb}{a^Ta} = frac{aa^T}{a^Ta}b)。因此,投影矩阵 (P = frac{aa^T}{a^Ta})。
如果向量 (a) 变为两倍,投影矩阵 (P) 不变,它还是投影到同一条直线。如果投影矩阵平方,那就是进行两次投影,和进行一次投影是一样的结果,因此有 (P^2=P)。
同时,(I-P) 也是一个投影矩阵,((I-P)b = b-p = e)。当 (P) 投影到一个子空间时,(I-P) 投影到和它垂直的另一个子空间。
3. 到子空间的投影
假设 (n) 个 (oldsymbol R^m) 空间中的向量 (a_1,cdots,a_n) 是线性不相关的,我们想找到一个线性组合 (p=hat x_1 a_1+cdots+hat x_n a_n) 使得 (p) 距离一个给定向量 (b) 最近。
(a_1,cdots,a_n) 可以看做是矩阵 (A) 的列,我们要找的线性组合是在矩阵 (A) 的列空间中。我们要找的是距离(b) 最近的一个组合 (Ahat x),也就是 (b) 在列空间的投影。
同理,误差 (e=b-Ahat x) 垂直于子空间,也就是垂直于子空间的所有向量。
也即
[A^T(b-Ahat x) = 0 o A^TAhat x = A^Tb]
(A^TA) 是一个 n×n 的矩阵,因为 (A) 的列是线性不相关的,所以其是可逆的。可得线性组合系数为
[hat x = (A^TA)^{-1}A^Tb ]
所以有,投影和投影矩阵分别为
[p = A hat x = A(A^TA)^{-1}A^Tb]
[P = A(A^TA)^{-1}A^T]
由 (A^T(b-Ahat x) = 0) 可知,误差 (e) 位于 (A) 的左零空间 (N(A^T)) 中,向量 (b) 被分为了投影 (p) 和误差 (e) 两部分。
(A^TA) 是可逆的当且仅当 (A) 的列是线性不相关的。
当 (Ax=0) 时,我们有 (A^TAx=0)。而当 (A^TAx=0) 时,我们有
[x^TA^TAx=0 o (Ax)^TAx = 0 o Ax = 0]
因此 (A^TA) 和 (A) 有着一样的零空间,当 (A) 的列线性不相关时,(A^TA) 是一个方阵,对称并且可逆。
获取更多精彩,请关注「seniusen」!
以上是关于线性代数之——子空间投影的主要内容,如果未能解决你的问题,请参考以下文章
线性判别分析(Linear Discriminant Analysis-LDA)
PCA算法详解——本质上就是投影后使得数据尽可能分散(方差最大),PCA可以被定义为数据在低维线性空间上的正交投影,这个线性空间被称为主?空间(principal subspace),使得投影数据的?