概率论与数理统计小记

Posted 2022-11-09 z-sm

 

https://www.cnblogs.com/LittleHann/p/11133457.html 再谈线性回归函数分析，从概率论与数理统计角度看线性回归参数估计

EX、DX、Cov(X, Y)、相关系数、分布（伯努利分布、泊松分布、均匀分布、指数分布、正态分布、标准正态分布）

随机变量 互相独立 是 不线性相关 的充分不必要条件

https://www.cnblogs.com/LittleHann/p/9569708.html 大数定律、中心极限定理

定律与定理：

伯努利大数定律（1713）（n足够大时，伯努利实验中事件发生频率依概率1收敛于事件期望。收敛意为小幅波动）

条件：特指伯努利实验（伯努利实验中各随机变量独立同分布，且均值、方差存在）

说明了频率具有稳定性

*辛钦大数定律（n足够大时，对于独立同分布的随机变量X_i，若X_i均值存在（方差可不存在），则样本均值趋向于总体均值/期望） 

条件：各随机变量独立同分布、均值存在（方差可不存在）

为用样本均值来估计总体均值提供了理论依据

伯努利大数定律是此定律的一个特例

切比雪夫大数定律（当n足够大时，对于互不线性相关的随机变量X_i，若X_i均值和方差存在且方差一致有界，这些随机变量的均值 趋向于 各随机变量的期望的均值）

条件：随机变量两两不线性相关（不要求独立同分布，故条件更弱）、EX_i存在、DX_i存在且DX_i≤c

辛钦大数定律是此定律的一个特例

棣莫弗-拉普拉斯中心极限定理，也称二项分布的正态近似（1733）（n足够大时，伯努利实验中事件发生次数近似于正态分布）

条件：特指伯努利实验（伯努利实验中各随机变量是独立同分布的，且均值、方差存在）

此定理的作用在于很多时候没法直接计算二项分布的分布/概率，若n够大则此时可用正态分布近似计算。实际上，若p≤0.1，则二项分布也近似于泊松分布，即也可用泊松分布近似计算。

*列维-林德伯格中心极限定理（1920）（n足够大时，对于独立同分布的随机变量X_i，若X_i均值和方差存在，则ΣX_i近似于正态分布）

条件：各随机变量独立同分布，且均值、方差存在

当n足够大时，对于任意独立同分布可用正态分布近似计算概率。

微观少量样本随机、宏观大数统计意义上的正态有序

棣莫弗-拉普拉斯中心极限定理是本定理的一个特例

 总结：大数定律是说样本够多时，样本均值会收敛于总体均值（但样本均值的分布是怎样的不知道）；中心极限定理是说样本够多时，样本均值趋近于正态分布（刚好弥补了大数定律不知分布的缺陷）

 

 

https://blog.csdn.net/randy_01/article/details/84498713 统计学笔记

期望、方差、概率密度函数、边缘概率密度函数、联合概率密度函数、分布函数、联合分布函数

https://blog.csdn.net/randy_01/article/details/84633530 统计学笔记 不等式

几个概率不等式：

马尔可夫不等式

切比雪夫不等式：用于衡量随机变量与其期望的偏离程度的上限，上限与方差成正比。也说明了方差是随机变量取值与其中心位置的偏离程度的一种衡量指标。

Mill不等式

 

几个期望不等式：