A15 算法估计均值方差——原理和 Python 实现

Posted 2021-06-30 zhuo木鸟

文章目录

• A15 算法——估计均值
• • 步骤
  • Python 实现
• A15 算法——估计标准差
• • 步骤
  • Python 实现

本文主要参考：Analytical Methods Committee 的 Part.1. Robust Statistics——How Not to Reject Outliers

稳健估计要解决的两个问题是：

1. 避免由于粗大误差（gross error）导致估计不稳定
2. 避免因为随机误差的“拖尾分布”（类似于 $\sigma$ 很大的正态分布），影响估计的不稳定

记样本为 $x_1,x_2,\cdots ,x_n$，n 为样本容量。

A15 算法——估计均值

步骤

基本原理：
对数据均值的估计，一般需要求解一个最小值优化问题：
$$\sum _{i=1}^n(x_i-\mu {)}^2$$
当然，为了实现均值的稳健估计，我们需要换一个问题：
$$\rho (\frac{(x-\mu )}{\sigma })=\{\begin{array}{cc}(\frac{(x-\mu )}{\sigma }{)}^2& |\frac{(x-\mu )}{\sigma }|\le c\\ c\times (2|\frac{(x-\mu )}{\sigma }|-c)& |\frac{(x-\mu )}{\sigma }|>c\end{array}$$
而求解上述问题，实际上就是要找出伪值 ${\hat{x}}_i$ 的均值：
$${\hat{x}}_i=\{\begin{array}{cc}{x}_i& |x_i-\mu |\le c\sigma \\ \mu -c\sigma & x_i<c\sigma -\mu \\ \mu +c\sigma & x_i>c\sigma +\mu \end{array}$$
同时用${\hat{x}}_i$ 的均值 $\mu$ 代替上述的 $\mu$，当然，迭代初始值 ${\mu }_0$ 可以为均值或方差；持续上述迭代，求解伪值 $\hat{x}$ 的均值直到收敛（变化很小）。

上述的过程也等价于，对加权的样本求取均值，权重 $w_i$ 如下：
$$w_i=\{\begin{array}{cc}1& |x_i-\mu |\le c\sigma \\ c\sigma /|x_i-\mu |& |x_i-\mu |>c\sigma -\mu \end{array}$$
（当然也是通过迭代，收敛后的均值）

上述算法的常数 c 一般取 $[1,2]$，一般常用 1.5；

A15 算法其实就是 ISO 13528 的条款 C.3 中算法 A 的始祖啦。

A15 需要提供一个 $\sigma$，也即总体的标准差。若总体的标准差未知，则一般用样本的 MADe 作为标准差的估计，MADe 的求解如下：
$$\text{MADe}=1.4826\times \text{Median}(|x_i-\text{Median}(x)|)$$

Python 实现

def pseudo_value(x, loc, scale, c):
    
    x = x.copy()
    
    idx_upper = x > loc + c*scale
    idx_lower = x < loc - c*scale
    
    x[idx_upper] = loc + c*scale
    x[idx_lower] = loc - c*scale
    return x
    
def perform_A15(x, c=1.5, epochs=100, loc=None, scale=None):
    if isinstance(x, pd.Series) or isinstance(x, pd.DataFrame):
        x = x.astype('float').values
    if isinstance(x, list):
        x = np.array(x)
    
    if scale == None:
        # 若没有提供标准差，则用 MADe 估计
        scale = 1.4826*np.median(np.abs(x-np.median(x)))
    
    if loc == None:
        # 用中位数作为稳健均值的初始迭代值
        loc = np.median(x)
    
    loc_last = loc
    loc_curr = None
    epoch = 0
    while True:
        pseudo_x = pseudo_value(x, loc=loc_last, scale=scale, c=c)
        loc_curr = np.mean(pseudo_x)
        if np.abs(loc_curr - loc_last) <= 1e-6:
            return loc_curr
        epoch = epoch + 1
        if epoch >= epochs:
            return loc_curr
        loc_last = loc_curr

A15 算法——估计标准差

步骤

A15 算法估计标准差需要提供一个已知的均值（总体均值），若总体均值未知，可以用样本中位数估计，即为 $\mu$。

A15 算法估计标准差的原理是求解方程：
$$\min (|x_i-\mu |/\sigma ,c{)}^2=n\cdot \beta$$
其中 $\beta$ 作为一个修正因子，用于将样本分布修正为正态分布。其取值与 c 有关，计算公式如下：
$$\beta =\theta +c^2\cdot (1-$$

双全估计算均值和方差——理论与 Python 实现

一些常用的机器学习算法实现

学机器学习要学一些什么？机器学习和深度学习项目实战分享

均值模型

用于估计统计中位数、众数、偏度、峰度的“在线”（迭代器）算法？