人工智能数学基础--概率与统计3：随机变量与概率分布

Posted 2022-12-01 LaoYuanPython

一、随机变量

假设对一个样本空间的每个点，我们指定一个数，于是就在该样本空间上定义了一个函数，称这个函数为随机变量（random variable）或更确切地称之为随机函数。

随机变量通常用大写字母X或Y表示。一般说来，随机变量都有某种特定的物理意义、几何意义或其他意义。

具有有限多个值或无限多个可数值的随机变量称之为离散随机变量，而具有无限多个不可数值者则称之为非离散随机变量。

二、概率分布

概率分布（probability distribution）用来描述随机变量或一簇随机变量在每个可能取到的状态的可能性大小。描述概率分布的方式取决于随机变量是离散的还是连续的。

2.1、离散概率分布

离散随机变量的概率分布可以用概率质量函数（probability mass function, PMF）来描述，通常每一个随机变量会有一个不同的概率质量函数，具体运用时，必须根据随机变量来推断所使用的PMF，而不是根据函数名称来确认，如P(x)和P(y)通常不是一个PMF。

在下面的介绍里，还是将PMF成为概率函数。

2.1.1、概率函数

令X是离散随机变量，假设其值可由序列x1，x2，x3，…给出。并假设这些值具有下列概率

P(X=xk)=f(xk)，k=1，2，…      (1)

下面公式(2)称为概率函数，也称它为概率分布：

P(X=x)=f(x)        (2)

对于x=xk，(2)化为(1)，对于其他的x，f(x)=0。

2.1.2、离散随机变量的分布函数

对于随机变量 X，其累积分布函数，又简称为分布函数，是由下式(3)定义的：

F(x)=P(X≤x)      (3)

这里x是任意实数，即 -∞<x<+∞。

分布函数F(x)有下列性质：

1. F(x)是非减的(即，F(x)≤F(y)，当x≤y);
2. 当x->–∞时，lim F(x)=0，当x->+∞，limF(x)=1；
3. F(x)是右连续的(即h->0时，limF(x+h)=F(x)，对所有的x)。

2.1.3、离散随机变量的分布函数计算及与概率函数的关系

注意到下面的公式(4)，对所有属于(-∞，+∞)的x，离散随机变量X的分布函数可由它的概率函数得到：

F(x)=P(X≤x)=Σf(u)      (4)

上式中u≤x，即表示取所有小于等于x的样本对应的随机变量。

如果X仅有有限个值x1、x2、…、xn，则分布函数由下式给出：

由以上分布函数可以得到离散随机变量的概率函数：

老猿注：上式中的极限就相当于求取所有小于X的随机变量的累计分布函数。

2.2、连续的随机变量

2.2.1、连续随机变量的概率分布函数和概率函数

非离散的随机变量X被称之为绝对连续的，或简称连续的，如果其分布函数能表示成

这里函数f(x)具有性质:

1. f(x)≥0；
2. f(x)在（-∞,+∞）的定积分∫f(x)dx=1。

若X是连续的随机变量，根据上述则对于X的任一个特殊值的概率是零，而属于两个不同值a与b之间的X的概率为区间概率，由下式给出

满足以上条件的函数f(x)称之为连续的随机变量的概率函数或概率分布，但是通常称它为概率密度函数（probability density function，PDF）或简称密度函数。任何一个满足以上性质1和2的函数f(x)就称为密度函数，并且能够根据(8)式求得概率。

在f(x)是连续的情况下，除非特殊说明，将假定X等于任何特殊值的概率为0，因此对于（8）式中的小于号可以用小于等于号替代。

X在x与x+Δx之间的概率由下式给出：

因此，若Δx很小时，我们近似地得到：

P(x≤X≤x+Δx)=f(x)Δx      (10)

老猿注：上述公式（10）是由函数的微分定义获得的，具体可参考《人工智能数学基础–微分：定义、运算以及应用》的介绍。

对(7)式两边求导，我们得到

这里对所有的f(x)的连续点，即分布函数的导数是密度函数。

实际上存在着既不是离散的也不是连续的随机变量，如满足概率密度函数定义的分段函数。

2.2.2、连续随机变量的概率分布函数图形解释

若f(x)是随机变量X的密度函数，则可用图2-2中的一条曲线来对y=f(x)作图形上的描述。

由于f(x)≥0，所以该曲线不可能落到x轴的不面。由(7)式之后的性质2，故以该曲线与轴为界的整个面积必是1。从几何上看，在a与b之间的X的概率，即P(a<X<b)，则是用图2-2中阴影部分的面积来描述。

分布函数F(z)=P(X≤x)是单调递增函数，它从0递增到1，用图2-3中的曲线来描述。

三、小结

本文介绍了概率统计中的随机变量及概率分布的概念，包括离散随机变量和连续随机变量的概率函数及分布函数，都是概率统计的入门知识。

其中有个知识点很容易混淆，即概率分布和概率分布函数，从前面的介绍来说，概率分布也就是概率函数，而概率分布函数却是概率函数的累积函数（离散随机变量情况下）或积分（连续随机变量情况下），二者是不同的：

1. 概率分布就是说随机变量（自变量）和每个随机变量对应的概率，这就是概率分布（概率函数）；
2. 随机变量是离散的概率分布就是概率函数，如果随机变量是连续的，那么除了叫概率函数外，概率分布还可以叫概率密度或概率密度函数；
3. 概率函数和概率分布、概率密度是一样的，只是说用函数表达式写出来而已；
4. 分布函数某一点的值是该点前面所有概率的累加。

说明：

本文内容是老猿学习美版M.R.斯皮格尔等著作的《概率与统计》的总结，有需要高数原教材电子版以及OpenCV、Python基础知识、图像处理原理介绍相关电子资料，或对文章内有有疑问咨询的，请扫博客首页左边二维码加微信公号，根据加微信公号后的自动回复操作。

更多人工智能数学基础请参考专栏《人工智能数学基础》。

写博不易，敬请支持：

如果阅读本文于您有所获，敬请点赞、评论、收藏，谢谢大家的支持！

关于老猿的付费专栏

1. 付费专栏《https://blog.csdn.net/laoyuanpython/category_9607725.html 使用PyQt开发图形界面Python应用》专门介绍基于Python的PyQt图形界面开发基础教程，对应文章目录为《 https://blog.csdn.net/LaoYuanPython/article/details/107580932 使用PyQt开发图形界面Python应用专栏目录》；
2. 付费专栏《https://blog.csdn.net/laoyuanpython/category_10232926.html moviepy音视频开发专栏 )详细介绍moviepy音视频剪辑合成处理的类相关方法及使用相关方法进行相关剪辑合成场景的处理，对应文章目录为《https://blog.csdn.net/LaoYuanPython/article/details/107574583 moviepy音视频开发专栏文章目录》；
3. 付费专栏《https://blog.csdn.net/laoyuanpython/category_10581071.html OpenCV-Python初学者疑难问题集》为《https://blog.csdn.net/laoyuanpython/category_9979286.html OpenCV-Python图形图像处理 》的伴生专栏，是笔者对OpenCV-Python图形图像处理学习中遇到的一些问题个人感悟的整合，相关资料基本上都是老猿反复研究的成果，有助于OpenCV-Python初学者比较深入地理解OpenCV，对应文章目录为《https://blog.csdn.net/LaoYuanPython/article/details/109713407 OpenCV-Python初学者疑难问题集专栏目录 》
4. 付费专栏《https://blog.csdn.net/laoyuanpython/category_10762553.html Python爬虫入门 》站在一个互联网前端开发小白的角度介绍爬虫开发应知应会内容，包括爬虫入门的基础知识，以及爬取CSDN文章信息、博主信息、给文章点赞、评论等实战内容。

前两个专栏都适合有一定Python基础但无相关知识的小白读者学习，第三个专栏请大家结合《https://blog.csdn.net/laoyuanpython/category_9979286.html OpenCV-Python图形图像处理 》的学习使用。

对于缺乏Python基础的同仁，可以通过老猿的免费专栏《https://blog.csdn.net/laoyuanpython/category_9831699.html 专栏：Python基础教程目录）从零开始学习Python。

如果有兴趣也愿意支持老猿的读者，欢迎购买付费专栏。

老猿Python，跟老猿学Python！

☞ ░ 前往老猿Python博文目录 https://blog.csdn.net/LaoYuanPython ░