机器学习之概率与统计- 随机变量及其分布

Posted tanv

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了机器学习之概率与统计- 随机变量及其分布相关的知识,希望对你有一定的参考价值。

目录

一、 概率公理及推论... 2

1.    联合概率... 2

2.    条件概率... 2

3.    全概率公式... 2

4.    贝叶斯公式... 2

二、 随机变量及其分布... 2

1.    随机变量... 2

2.    累积分布函数CDF. 2

3.    概率函数pmf2

4.    概率密度函数pdf3

5.    随机变量的分布... 3

5.1     分布的概述... 3

5.2     位置描述... 3

5.3散布程度描述... 4

三、 常见随机变量概率分布... 5

1.    常见离散型随机变量... 5

1.1二项分布(Binomial... 5

1.2 Bernoulli分布... 5

1.3多项分布(Multinomial... 5

2.常见离散型随机变量... 5

2.1均匀分布... 5

2.2高斯分布... 5

2.3 Laplace分布... 6

2.4 Gamma分布... 6

2.5 Beta分布... 7

2.6 Dirichlet分布... 7

2.7 混合分布... 7

2.8混合高斯模型... 7

四、 抽样分布... 8

1.   独立同分布(IID... 8

2.抽样分布... 8

3.样本均值和样本方差... 8

4.弱大数定理(WLLN... 8

5.中心极限定理(Central Limit Theorem, CLT... 9

五、 分布估计... 9

1.参数估... 9

2非参数估计... 9

2.1直方图估计... 9

2.2核密度估计... 10

2.3根据有限个统计量估计(极大熵原理)... 10

 

 

一、  概率公理及推论

1.   联合概率

对任意两个时间AB,则有:

P(A , B) = P(AB) = P(B)P (A|B) = P(A)P (B|A)

2.   条件概率

P(B)0时,给定B发生时,A的条件概率是:

       clip_image002[8]

 

 

3.   全概率公式

A1, , AKA的一个子集,则对任意事件B,有:

clip_image004[8]

 

 

 

注:可以把B事件发生的概率看作是所有在A条件下发生B的概率的权重之和,P(A)可以看成一个权重。

4.   贝叶斯公式

  A1, , AKA的一个子集,k=1,2, ,K。若P(B)0P(A)0,则有

clip_image006[8]

 

 

其中:clip_image008[8]为后验概率,clip_image010[8]为先验概率。

 

二、  随机变量及其分布

1.   随机变量

随机变量是一个函数,将一个实数值映射到一个试验的每一个输出。即将每一个事件映射到衡量这个事件的每一个数据。是随机事件与数据之间的联系起来的纽带:

  f(事件) = 数据

  f()称为随机变量。

   注:

  1)数据是随机变量的具体值

  2)统计量是数据或者随机变量的任何函数

  3)任何随机变量的函数仍然是随机变量

以上是关于机器学习之概率与统计- 随机变量及其分布的主要内容,如果未能解决你的问题,请参考以下文章

概率论与数理统计:一维随机变量及其分布

概率论与数理统计:二维随机变量及其分布

概率论与数理统计笔记 第二章 随机变量及其概率分布

机器学习之概率统计基础,机器学习学习笔记----08

概率论与数理统计-ch2-随机变量及其分布

概率论与数理统计