理解Double/debiased machine learning

Posted 2023-02-21 Jie Qiao

基础：线性回归

考虑一个经典线性高斯模型：

$$y=ax+u$$

其中U服从标准高斯分布，a是回归系数，那么回归的目的是找到一个a，使得x与u独立，即

$$\begin{array}{rl}& cov(y-ax,x)=0\\ ⟹& cov(y,x)-acov(x,x)=0\\ ⟹& a=cov(y,x)/cov(x,x)\end{array}$$

这些知识在后面会反复用到。

Double/debiased machine learning

我们首先考虑这个因果模型(Partially Linear Regression)：

$$\begin{array}{cl}Y=D{\theta }_0+g_0(X)+U,& \mathrm{E}[U\mid X,D]=0,\\ D=m_0(X)+V,& \mathrm{E}[V\mid X]=0,\end{array}$$

其中$Y$ 是outcome,$D$ 是policy/treatment,且X是个高维的变量

$$X=(X_1,\dots ,X_p)$$

在这里，我们最关心的是${\theta }_0$，因为当我们给定某个X的时候，${\theta }_0$就表示了在这个X的群体中，D这个treatment的因果效应。那么估计${\theta }_0$最简单的方法就是，用机器学习去估计，这里我们先将数据随机分成两份，分别是$I,I^c$，不妨假设${\hat{g}}_0$是通过ML估计的函数，于是给定${\hat{g}}_0$，${\hat{\theta }}_0$可以用线性回归得到
$${\hat{\theta }}_0=\frac{cov(D,Y-{\hat{g}}_0(X))}{var(D)}=\frac{\frac{1}{n}{\sum }_{i\in I}{D}_i(Y_i-{\hat{g}}_0(X_i))}{\frac{1}{n}{\sum }_{i\in I}{D}_i^2}\text{\hspace{1em}(1)}$$
这样的估计量其实很容易有bias，主要原因的它非常依赖于${\hat{g}}_0$的准确度，万一它有一点偏差就会产生很大的影响，我们来分析一下：

n ( θ ^ 0 − θ 0 ) = n 1 n ∑ i ∈ I D i ( Y i − g ^ 0 ( X i ) ) 1 n ∑ i ∈ I D i 2 − ( n 1 n ∑ i ∈ I D i ( Y i − g 0 ( X i ) ) 1 n ∑ i ∈ I D i 2 − n 1 n ∑ i ∈ I D i U i 1 n ∑ i ∈ I D i 2 ) = ( 1 n ∑ i ∈ I D i 2 ) − 1 1 n ∑ i ∈ I D i U i ⏟ : = a + ( 1 n ∑ i ∈ I D i 2 ) − 1 1 n ∑ i ∈ I D i ( g 0 ( X i ) − g ^ 0 ( X i ) ) ⏟ : = b . \\beginaligned \\sqrtn(\\hat\\theta _0 -\\theta _0) & =\\sqrtn\\frac\\frac1n\\sum _i\\in I D_i( Y_i -\\hatg_0 (X_i ))\\frac1n\\sum _i\\in I D^2_i -\\left(\\sqrtn\\frac\\frac1n\\sum _i\\in I D_i( Y_i -g_0 (X_i ))\\frac1n\\sum _i\\in I D^2_i -\\sqrtn\\frac\\frac1n\\sum _i\\in I D_i U_i\\frac1n\\sum _i\\in I D^2_i\\right)\\\\ & =\\underbrace\\left(\\frac1n\\sum _i\\in I D^2_i\\right)^-1\\frac1\\sqrtn\\sum _i\\in I D_i U_i_:=a +\\underbrace\\left(\\frac1n\\sum _i\\in I D^2_i\\right)^-1\\frac1\\sqrtn\\sum _i\\in I D_i( g_0( X_i) -\\hatg_0( X_i))_:=b . \\endaligned n ​(θ^Convolutional Pose Machines（理解）

机器阅读理解（Neural Machine Reading Comprehension）综述，相关方法及未来趋势

机器阅读理解（Neural Machine Reading Comprehension）综述，相关方法及未来趋势

机器阅读理解（Neural Machine Reading Comprehension）综述，相关方法及未来趋势

Teaching Machines to Understand Us 让机器理解我们 之二 深度学习的历史

Teaching Machines to Understand Us 让机器理解我们 之三 自然语言学习及深度学习的信仰