条件期望误差的有限性

Posted 2021-06-05 分析101

1 CEF error的有限性问题

在回归中，记条件期望函数（conditional expectation function，CEF）为\\(E[Y|X=x]\\)，则可将因变量\\(Y\\)分解为

\\[Y=E[Y|X=x]+e \\]

可记\\(e=Y-E[Y|X=x]\\)为条件期望函数误差（CEF error）。

显然，\\(e\\)满足\\(E[e|X]=0\\)，\\(E[e]=0\\)，这些都很容易证明。下面来看一个关于\\(e\\)的有限性的问题：

若对于\\(r\\gt 1\\)有\\(E[|Y|^r]\\lt \\infty\\)，求证\\(E[|e|^r]\\lt \\infty\\)。

从直觉上说，\\(e\\)是用条件期望函数对\\(Y\\)做了解释后留下的残差，那么\\(Y\\)的有限性应该可以保证\\(e\\)的有限性。但要证明它，却比较复杂。

2 证明

首先我们利用Minkowski不等式，有

\\[\\begin{aligned} &\\left(E[|e|^r] \\right)^{1/r}\\\\ =& \\left(E\\left[|Y-E[Y|X=x]|^r\\right]\\right)^{1/r}\\\\ \\leq& \\left(E\\left[|Y|^r\\right]\\right)^{1/r}+\\left(E\\left[|E[Y|X=x]|^r\\right]\\right)^{1/r} \\end{aligned} \\]

由已知条件，第一项\\(\\left(E\\left[|Y|^r\\right]\\right)^{1/r}\\)是有限的。

对于第二项，由于\\(g(\\cdot)=|\\cdot|^r\\)在\\(r\\geq 1\\)时为凸函数，由Jensen不等式\\(g(E[Y|X]) \\leq E[g(Y)|X]\\)，即有

\\[|E[Y|X]|^r \\leq E[|Y|^r|X] \\]

再对两边取期望后取\\(1/r\\)次幂，可得

\\[\\left(E\\left[|E[Y|X]|^r \\right]\\right)^{1/r}\\leq \\left(E[|Y|^r]\\right)^{1/r} \\]

由已知条件可知，这一项也是有限的。

3 扩展

若我们关注\\(r=2\\)，就变成了CEF error的无条件方差\\(\\sigma=E[e^2]=\\text{Var}[e]\\)。结论重新表述如下：

若\\(E[Y^2]\\lt \\infty\\)，则\\(\\sigma^2\\lt \\infty\\)。

事实上，若对于多个解释变量，则不断加入解释变量后，残差的方差必将减小，即若\\(E[Y^2]\\lt \\infty\\)，必有

\\[\\text{Var}[Y]\\geq \\text{Var}[Y-E[Y|X_1]] \\geq \\text{Var}[Y-E[Y|X_1,X_2]] \\]

为什么？

证明：先利用\\(E[Y|X_1]=E[E[Y|X_1,X_2]|X_1]\\)和Jensen不等式，我们可以得到

\\[\\left(E[Y|X_1]\\right)^2=(E[E[Y|X_1,X_2]|X_1])^2\\leq E[\\left(E[Y|X_1,X_2]\\right)^2|X_1] \\]

两边取期望后有

\\[E\\left[\\left(E[Y|X_1]\\right)^2\\right] \\leq E\\left[\\left(E[Y|X_1,X_2]\\right)^2\\right] \\]

同理，利用\\(E[Y]=E[E[Y|X_1]]\\)和Jensen不等式，可得到\\((E[Y])^2\\leq E\\left[\\left(E[Y|X_1]\\right)^2\\right]\\)，与上面的式子放在一起有

\\[(E[Y])^2\\leq E\\left[\\left(E[Y|X_1]\\right)^2\\right] \\leq E\\left[\\left(E[Y|X_1,X_2]\\right)^2\\right] \\]

三个地方都同时减去\\((E[Y])^2\\)，可得

\\[0 \\leq \\text{Var}\\left[E[Y|X_1]\\right] \\leq \\text{Var}\\left[E[Y|X_1,X_2]\\right] \\]

另一方面，我们已有\\(e=Y-E[Y|X]\\)，再记\\(u=E[Y|X]-E[Y]\\)，则\\(E[eu]=0\\)，因此

\\[\\begin{aligned} &\\text{Var}[Y]\\\\ =& \\text{Var}[e+u]\\\\ =& \\text{Var}[e]+\\text{Var}[u]\\\\ =& \\text{Var}[Y-E[Y|X]]+\\text{Var}[E[Y|X]] \\end{aligned} \\]

而\\(\\text{Var}[Y]\\)为常数，因此，\\(\\text{Var}[E[Y|X]]\\)越大，\\(\\text{Var}[Y-E[Y|X]]\\)越小，即

\\[\\text{Var}[Y]\\geq \\text{Var}[Y-E[Y|X_1]] \\geq \\text{Var}[Y-E[Y|X_1,X_2]] \\]