稳健性估计—— M 估计

Posted 2021-06-28 zhuo木鸟

文章目录

• M 估计法，估计均值
• M 估计法，估计方差平方根

M 估计法，估计均值

M 估计法算均值的原理在于求解下述方程：
$$\text{ave}[f(\frac{x_i-T_n}{S_n})]=0$$
其中 $T_n$ 是对均值的估计值（方程的解即为 M 算法估计均值的结果），$S_n$ 为对方差平方根（标准差）的估计。

对于小样本来说（$n\in [4,8]$），$S_n$ 取 MAD，即：
$${\text{MAD}}_n(X)=1.4826\times {\text{med}}_n(|x_i-{\text{med}}_n(X)|)$$
对于上述方程，函数在小样本$n\in [4,8]$来说，函数一般取 pshi 函数，如下：

$${\psi }_{log}(x)=\frac{e^x-1}{e^x+1}$$
图像为：

若取 sigmoid 函数，则上述方程是没有代数解的，所以需要算数值解，这里用的方法是牛顿法，取 $T_n$ 的初始值为中位数，迭代方法为：
$$T_n^{(k)}=T_n^{(k-1)}+S_n\frac{{\mathrm{ave}}_{i=1}^n\psi \left(\left(x_i-T_n^{(k-1)}\right)/S_n\right)}{{\mathrm{ave}}_{i=1}^n{\psi }^{\prime }\left(\left(x_i-T_n^{(k-1)}\right)/S_n\right)}$$
直到收敛，即求出估计值。

我们用 x = np.random.normal(5, 1, 8) 产生 8 个从正态分布去除的数：

藉由上述 M 估计算法，可以算出均值为：5.00382727784989

M 估计法，估计方差平方根

M 估计方算方差平方根是用下述方程的解来表示的：
$$\text{ave}[\rho (\frac{x_i-T_n}{S_n})]=\beta$$
其中，在小样本时（$n\in [4,8]$），一般取 $T_n$ 为中位数，$\rho$ 为：
$$\rho (x)=f^2(\frac{x}{0.3739})$$
$\rho$ 函数的图像如下：

函数 $f$ 见上文，而 $\beta$ 取值为 $\int \rho (u)d\Phi (u)$，$\Phi (u)$ 为标准正态分布的分布函数。很明显，上述方程没有代数解，故需要用牛顿法求解，设数值解（牛顿法）的初始值为 $S_n=MAD(X)$，MAD 的求解见上。

牛顿法的每一次迭代为：
$$S_n^{(k)}=S_n^{(k-1)}\sqrt{2\text{ave }[\rho \left(\left(x_i-T_n\right)/S_n^{(k-1)}\right)]}$$

设置收敛的允差条件为：1e-6，产生 8 个正态分布数据（方差为 3，也即标准差为 1.732），可得：

运行算法，可以估计出均值和标准差分别为：3.62、1.62。（还是蛮准的嘛）