估计偏差和方差

Posted 2021-01-23 bigcome

1.点估计

　　令 {x (1) ,...,x (m) } 是 m 个独立同分布（i.i.d.）的数据点。点估计（point esti-mator）或统计量（statistics）是这些数据的任意函数：

　　　

　　　　良好的估计量的输出会接近生成训练数据的真实参数 θ

　　点估计也可以指输入和目标变量之间关系的估计。我们将这种类型的点估计称为函数估计

2.偏差

　　估计的偏差被定义为：

　　　　

　　　　其中期望作用在所有数据（看作是从随机变量采样得到的）上，θ 是用于定义数据生成分布的 θ 的真实值

　　　　如果 bias( ? θ m ) = 0，那么估计量?θ m 被称为是无偏（unbiased），这意味着 E( ? θ m ) = θ。

　　　　如果 lim m→∞ bias( ? θ m ) = 0，那么估计量?θ m 被称为是渐近无偏（asymptotically unbiased），这意味着 lim m→∞ E( ? θ m ) = θ

3.方差和标准差

　　估计量的方差（variance）就是一个方差

　　　　　

　　方差的平方根被称为标准差（standard error），记作SE( ? θ)

　　均值的标准差被记作

　　　　

　　均值 ? μ m 为中心的 95% 置信区间是

　　　　

　　　　算法 A 比算法 B 好，是指算法 A 的误差的 95% 置信区间的上界小于算法 B的误差的 95% 置信区间的下界

　　均方误差