QR分解与线性回归

Posted 2021-06-24 分析101

1 一元回归与多元回归

任何一本初级水平的计量经济学、统计学或机器学习相关书籍，都会详细推导多元线性线性回归的解，在这里就不再赘述。

我们给出本文用到的一些设定。\\(y\\)为\\(N\\)维因变量向量，假设\\(y=X\\beta+\\epsilon\\)，如果自变量为\\(p\\)维，将\\(X\\)排为\\(N\\times (p+1)\\)矩阵，其中第一列\\(x_{\\cdot 0}=1_N\\)为全是\\(1\\)的截距项，我们有最小二乘估计：

\\[\\hat \\beta = (X\'X)^{-1}X\'y \\]

如果是单变量回归，并且没有截距项的话，将自变量记为\\(N\\)维向量\\(x\\)，\\(y=x\'\\beta\\)中\\(\\beta\\)的最小二乘估计为

\\[\\hat\\beta=\\dfrac{x\'y}{x\'x} \\]

二者有何联系？如果在多变量回归中，\\(X\\)的列向量相互正交即\\(X\'X\\)为对角矩阵，则可以得出，每个系数的估计值为\\(\\hat\\beta_j=\\dfrac{x_{\\cdot j}\'y}{x_{\\cdot j}\'x_{\\cdot j}}\\)。

这给了我们一种启示，能否构造出相互正交的一些维度？

2 Gram–Schmidt过程

我们用如下过程计算\\(\\hat\\beta_p\\)：

1. \\(z_{\\cdot 0}=x_{\\cdot 0}=1_N\\)；
2. 遍历\\(j = 1,\\ldots,p\\)：用\\(x_{\\cdot j}\\)对\\(l=0,\\ldots, j-1\\)的每个\\(z_{\\cdot l}\\)分别做无截距项的一元线性回归，分别得到系数\\(\\hat\\gamma_{lj}=\\dfrac{z_{\\cdot l}\'x_{\\cdot j}}{z_{\\cdot l}\'z_{\\cdot l}}\\)，最后得到\\(z_{\\cdot j}=x_{\\cdot j}-\\sum_{k=0}^{j=1}\\hat\\gamma_{kj}z_{\\cdot k}\\)；
3. 再用\\(y\\)对\\(z_{\\cdot p}\\)做无截距项的一元回归，得到最终的\\(\\hat\\beta_p=\\dfrac{z_{\\cdot p}\'y}{z_{\\cdot p}\'z_{\\cdot p}}\\)。

由于\\(x_{\\cdot p}\\)只在\\(z_{\\cdot p}\\)中出现，并且与\\(z_{\\cdot 0},\\ldots,z_{\\cdot p-1}\\)均正交，因此有以上结果。若\\(\\epsilon\\sim N(0,\\sigma^2 I_N)\\)，则该估计的方差可以写为

\\[\\text{Var}(\\hat\\beta_p)=\\dfrac{z_{\\cdot p}\'}{z_{\\cdot p}\'z_{\\cdot p}} \\text{Var}(y) \\dfrac{z_{\\cdot p}}{z_{\\cdot p}\'z_{\\cdot p}} = \\dfrac{\\sigma^2}{z_{\\cdot p}\'z_{\\cdot p}} \\]

注意到，每一个维度都可以作为第\\(p\\)维，因此，每一个\\(\\hat\\beta_j\\)都可以用这样的方法得出。

3 QR分解

如果补充上\\(\\hat\\gamma_{jj}=0\\)，其中\\(j=0,\\ldots,p\\)，将所有的\\(\\hat\\gamma_{ij}\\)排成\\((p+1)\\times (p+1)\\)的上三角矩阵\\(\\Gamma\\)，同时再记\\(Z=(z_{\\cdot 0}, z_{\\cdot 1},\\ldots, z_{\\cdot p})\\)，则有

\\[X=Z\\Gamma \\]

再构造一个\\((p+1)\\times (p+1)\\)的对角矩阵\\(D\\)，对角线元素为\\(D_{ii}=\\Vert z_{\\cdot i}\\Vert\\)，即\\(Z\'Z=D^2\\)，在上式中间插入\\(D^{-1}D=I_{p+1}\\)，则有

\\[X=Z\\Gamma = ZD^{-1}D\\Gamma \\]

记\\(Q=ZD^{-1}\\)，\\(R=D\\Gamma\\)，这就是矩阵\\(X\\)的QR分解：\\(X=QR\\)。

由于\\(Z\\)的列向量相互正交，因此\\(Q\'Q=D^{-1}Z\'ZD=I_{p+1}\\)，而\\(R\\)还是一个上三角矩阵。利用QR分解，我们可以将最小二乘估计写为

\\[\\hat\\beta = R^{-1}Q\'y \\]

并有拟合值

\\[\\hat y=QQ\'y \\]

由于\\(R\\)是上三角矩阵，且最后一行为\\((0,\\ldots,0,\\Vert z_{\\cdot p}\\Vert)\\)，因此\\(R^{-1}\\)也是上三角矩阵，且最后一行为\\((0,\\ldots,0,1/\\Vert z_{\\cdot p}\\Vert)\\)。再利用\\(Q=(z_{\\cdot 0}/\\Vert z_{\\cdot 0}\\Vert, z_{\\cdot 1}/\\Vert z_{\\cdot 1}\\Vert,\\ldots, z_{\\cdot p}/\\Vert z_{\\cdot p}\\Vert)\\)，可得出\\(R^{-1}Q\'\\)的最后一行为\\(z_{\\cdot p}\'/\\Vert z_{\\cdot p}\\Vert^2\\)，因此，有

\\[\\hat\\beta_p=z_{\\cdot p}\'y/\\Vert z_{\\cdot p}\\Vert^2 \\]

这也与第2节的结果一致。

参考文献

• Hastie, Trevor, Robert Tibshirani, and Jerome Friedman. The elements of statistical learning: data mining, inference, and prediction. Springer Science & Business Media, 2009.