线性代数之六：特征值与特征向量

Posted 2022-12-13 zzulp

6.1 特征值与特征向量

特征向量：若A为n阶方阵，如果存在一个非零向量x使得$Ax=\\lambda x$，则称标量$\\lambda$为特征值(eigenvalue)，称x为属于$\\lambda$的特征向量(eigenvector)。

特征向量与零度空间：方程$Ax=\\lambda x$可以写为$(A - \\lambda I)x=0$，因此$\\lambda$为特征值的充要条件是方程有一非平凡解，也即零度空间$N(A-\\lambda I)$中不仅只有零解，其中任意非零向量均为属于$\\lambda$的特征向量。子空间$N(A-\\lambda I)$称为对应于$\\lambda$的特征空间。

特征方程$(A - \\lambda I)x=0$有非零解的充要条件是矩阵$A-\\lambda I$为奇异的，即$det(A-\\lambda I)=0$，称此方程为特征方程。特征方程的根即A的特征值。如果方程有重根，且重根也计数，则特征方程恰有n个根，其中可能会有重复，也可能会是复数。

特征值的性质：

• 矩阵A的行列式的值为所有特征值的积
• 矩阵A的对角线元素和称为A的迹(trace)等于特征值的和

相似矩阵的特征值：若方阵A和B相似，则这两个矩阵有相同的特征多项式，且它们有相同的特征值。

使用numpy计算矩阵的特征值与特征向量：

import numpy as np
A=np.array([[3,2],[3,-2]])
w,v = np.linalg.eig(A) 
print w #4,-3 特征值
print v #对应的特征向量[[ 0.89442719, -0.31622777],
                        [ 0.4472136 ,  0.9486833 ]]

6.2 对角化

6.2.1 基本概念

定理：若$\\lambda_1,\\lambda_2,...,\\lambda_k$为n阶矩阵A的不同特征值，相应的特征向量为$x_1,x_2,...,x_k$，则$x_1,x_2,...,x_k$线性无关。

可对角化：若存在一个非奇异的矩阵X和一个对角矩阵D，使用n阶方阵A满足

$$X^-1AX = D$$ 则称A为可对角化(diagonalizable)，称X将A对角化。X的列向量为A的特征向量，D的对角元素为A的相应的特征值。一般地有：
$$A^k=XD^kX^-1=X\\left[\\matrix \\lambda_1^k \\cr & \\lambda_2^k \\cr & & \\dots \\cr & & & \\lambda_n^k \\cr \\right]X^-1$$

定理：方阵A是可对角化的，当且仅当A有n个线性无关的特征向量。

退化矩阵：若n阶方阵A有少于n个线性无关的特征向量，则A是退化的(defective)，退化矩阵不可对角化。

6.2.2 马尔可夫链

马尔可夫过程：对一个试验，若其每一步的输出都取决于概率，则称为一个随机过程(stochastic process)。马尔可夫过程(Markov process)是随机过程，它有如下性质：

• 可能的输出集合或状态是有限的
• 下一步输出的概率仅依赖于前一步的输出
• 概率相对于时间是常数

马尔可夫链
状态之间的迁移概率可以表示为迁移矩阵A，其第i列表示由第i个状态向其他状态变迁的概率，A的每一列元素均为非负的，且和为1。

若初始状态集记为$x_0$，并记后续各次状态集为$x_i$，则后续状态集可通过矩阵乘法计算得到：$x_i = A^ix_0$，并称$x_i$的序列是马尔可夫链。

定理：若一个马尔可夫链的转移矩阵为A，且其收敛到一个稳态向量x，则x为一个概率向量，$\\lambda =1$为其一个特征值，且x为属于这个特征值的特征向量。

定理：若马尔可夫链的转移矩阵A的其他特征值均不大于1，且存在$\\lambda=1$，称其主特征值(dominant eiganvalue)，此时转移矩阵A可使用得马尔可夫链收敛到稳定向量。

马尔可夫过程的应用
PageRank算法将网页浏览过程看成马尔可夫过程，其转移矩阵A为n*n的，目前n超过200亿。

A的(i,j)元素表示从网站j到i的跳转概率(可由浏览历史统计出来)，可证迁移矩阵存在稳态向量，随着浏览的进行最终可以达到惟一的稳态向量x，即到达某个站点k，向量中的元素$x_k$的确定了网站k的整体分级。

进行网页搜索时，首先寻找所有和关键字匹配的网页，然后将这些网页按照它们的网页分级递减的顺序列出来。

6.2.3 矩阵指数

由实数的泰勒级数展开式：

ex=1+x+12!以上是关于线性代数之六：特征值与特征向量的主要内容，如果未能解决你的问题，请参考以下文章

机器学习｜数学基础Mathematics for Machine Learning系列之线性代数（16）：方阵的特征值与特征向量

一个n阶行（列）向量与矩阵相乘得到啥？

线性代数矩阵知识

线性代数

矩阵论-符号和基本概念, since 2021-01-17

matlab中如何用qr函数求特征值和特征向量，矩阵是mxn