点估计及矩估计的一些理解

Posted 2021-02-04 hgz-dm

tags:

篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了点估计及矩估计的一些理解相关的知识，希望对你有一定的参考价值。

点估计指的是用样本统计量来估计总体参数，因为样本统计量为数轴上某一点值，估计的结果也以一个点的数值表示，所以称为点估计。在这个定义中，总体参数也即是总体分布的参数，一般我们在讨论总体分布的时候，只有在简单随机样本（样本独立同分布）情况下才有明确的意义，总体分布才能决定样本分布,所以下文样本中各随机变量均为独立同分布。在大数据中分析中，一般都假设样本是独立同分布的。

矩估计方法是点估计中的一种，其原理就是构造样本和总体的矩，然后用样本的矩去估计总体的矩。设有样本 $技术分享图片$ 而k为自然数，则样本矩做如下定义

$技术分享图片$

$技术分享图片$

其中 $技术分享图片$ 称为k阶样本原点矩， $技术分享图片$ 称为k阶样本中心距， $技术分享图片$ 为样本均值。 $技术分享图片$ 和 $技术分享图片$ 可以由样本计算得到确定的值。接下来再构造总体 $技术分享图片$ 的矩。在使用矩估计方法时，一般要求知道总体的分布类型，这样才能构造包含待估参数的矩。

当总体为连续分布时，设 $技术分享图片$ 为总体分布的概率密度函数， $技术分享图片$ 为总体分布中的待估参数（假设此处总体分布中只有一个待估参数 $技术分享图片$ ），则总体的k阶原点矩 $技术分享图片$ 、k阶中心距 $技术分享图片$ 分别定义为如下形式

$技术分享图片$

$技术分享图片$

当总体为离散分布时，设 $技术分享图片$ 是 $技术分享图片$ 时的概率，则总体的k阶原点矩 $技术分享图片$ 、k阶中心距 $技术分享图片$ 分别定义为如下形式

$技术分享图片$

$技术分享图片$

在用样本矩估计总体矩时，我们还需要知道样本矩对总体矩而言是无偏估计，还是非无偏估计，这样有助于我们把握估计偏差，下面以样本一阶原点矩 $技术分享图片$ 、二阶中心矩 $技术分享图片$ 为例来估计总体的一阶原点矩 $技术分享图片$ 和 $技术分享图片$ ，观察它们是否为无偏估计

$技术分享图片$

可以看到，样本一阶原点矩 $技术分享图片$ 为总体的一阶原点矩 $技术分享图片$ 的无偏估计，再看二阶中心矩的估计

$技术分享图片$

$技术分享图片$

$技术分享图片$

下面分别就 $技术分享图片$ 项和 $技术分享图片$ 项进行计算

$技术分享图片$ $技术分享图片$

$技术分享图片$ $技术分享图片$

$技术分享图片$

因此可得

$技术分享图片$ (1)

样本统计量 $技术分享图片$ 的方差 $技术分享图片$ 为

$技术分享图片$

$技术分享图片$

$技术分享图片$

可得

$技术分享图片$

由于 $技术分享图片$ ，且样本中各变量为独立同分布，所以

$技术分享图片$

$技术分享图片$

这样就得到

$技术分享图片$ (2)

由式(1)和式(2)，可以得到

$技术分享图片$

可以看到，样本的二阶中心矩并非总体的二阶中心矩的无偏估计，但是我们可以采用因子 $技术分享图片$ 来调整这个估计偏差，但一般在应用上不去做调整而是容忍一些偏差存在，在n较大时，这个偏差对于应用无损。

以上的内容只是计算过程推导，而我们更应该关注的是这些矩在实际应用中表示的是什么含义，这更有助于我们分析问题。依据总体的k阶原点矩和中心距，还可以定义以下参数，它们能反应总体分布的一些特征

偏度（Skewness）： $技术分享图片$ ，反映总体分布的“非对称性”或“偏倚性”

峰度（Kurtosis）： $技术分享图片$ ，反映总体分布陡峭或平滑的程度

以上是关于点估计及矩估计的一些理解的主要内容，如果未能解决你的问题，请参考以下文章

如何理解无偏估计？无偏估计有什么用？

最大似然估计-高斯分布

深入理解均方误差、交叉熵、似然估计

对极几何的理解和原理推导

机器学习基本理论详解最大似然估计（MLE）最大后验概率估计（MAP），以及贝叶斯公式的理解

详解最大似然估计（MLE）最大后验概率估计（MAP），以及贝叶斯公式的理解（转）