理解Double/debiased machine learning

Posted 2023-02-21 Jie Qiao

基础：线性回归

考虑一个经典线性高斯模型：

$$y=ax+u$$

其中U服从标准高斯分布，a是回归系数，那么回归的目的是找到一个a，使得x与u独立，即

$$\begin{array}{rl}& cov(y-ax,x)=0\\ ⟹& cov(y,x)-acov(x,x)=0\\ ⟹& a=cov(y,x)/cov(x,x)\end{array}$$

这些知识在后面会反复用到。

Double/debiased machine learning

我们首先考虑这个因果模型(Partially Linear Regression)：

$$\begin{array}{cl}Y=D{\theta }_0+g_0(X)+U,& \mathrm{E}[U\mid X,D]=0,\\ D=m_0(X)+V,& \mathrm{E}[V\mid X]=0,\end{array}$$

其中$Y$ 是outcome,$D$ 是policy/treatment,且X是个高维的变量

$$X=(X_1,\dots ,X_p)$$

在这里，我们最关心的是${\theta }_0$，因为当我们给定某个X的时候，${\theta }_0$就表示了在这个X的群体中，D这个treatment的因果效应。那么估计${\theta }_0$最简单的方法就是，用机器学习去估计，这里我们先将数据随机分成两份，分别是$I,I^c$，不妨假设${\hat{g}}_0$是通过ML估计的函数，于是给定${\hat{g}}_0$，${\hat{\theta }}_0$可以用线性回归得到
$${\hat{\theta }}_0=\frac{cov(D,Y-{\hat{g}}_0(X))}{var(D)}=\frac{\frac{1}{n}{\sum }_{i\in I}{D}_i(Y_i-{\hat{g}}_0(X_i))}{\frac{1}{n}{\sum }_{i\in I}{D}_i^2}\text{\hspace{1em}(1)}$$
这样的估计量其实很容易有bias，主要原因的它非常依赖于${\hat{g}}_0$的准确度，万一它有一点偏差就会产生很大的影响，我们来分析一下：

n ( θ ^ 0 − θ 0 ) = n 1 n ∑ i ∈ I D i ( Y i − g ^ 0 ( X i ) ) 1 n ∑ i ∈ I D i 2 − ( n 1 n ∑ i ∈ I D i ( Y i − g 0 ( X i ) ) 1 n ∑ i ∈ I D i 2 − n 1 n ∑ i ∈ I D i U i 1 n ∑ i ∈ I D i 2 ) = ( 1 n ∑ i ∈ I D i 2 ) − 1 1 n ∑ i ∈ I D i U i ⏟ : = a + ( 1 n ∑ i ∈ I D i 2 ) − 1 1 n ∑ i ∈ I D i ( g 0 ( X i ) − g ^ 0 ( X i ) ) ⏟ : = b . \\beginaligned \\sqrtn(\\hat\\theta _0 -\\theta _0) & =\\sqrtn\\frac\\frac1n\\sum _i\\in I D_i( Y_i -\\hatg_0 (X_i ))\\frac1n\\sum _i\\in I D^2_i -\\left(\\sqrtn\\frac\\frac1n\\sum _i\\in I D_i( Y_i -g_0 (X_i ))\\frac1n\\sum _i\\in I D^2_i -\\sqrtn\\frac\\frac1n\\sum _i\\in I D_i U_i\\frac1n\\sum _i\\in I D^2_i\\right)\\\\ & =\\underbrace\\left(\\frac1n\\sum _i\\in I D^2_i\\right)^-1\\frac1\\sqrtn\\sum _i\\in I D_i U_i_:=a +\\underbrace\\left(\\frac1n\\sum _i\\in I D^2_i\\right)^-1\\frac1\\sqrtn\\sum _i\\in I D_i( g_0( X_i) -\\hatg_0( X_i))_:=b . \\endaligned n ​(θ^