人工智能数学基础：两个存在映射关系的随机变量的概率密度函数关系研究

Posted 2021-09-09 LaoYuanPython

一、引言

在《数字图像处理》（《《数字图像处理》第三章学习总结感悟2-1：直方图均衡（Histogram Equalization）》）中有这样一段描述：
由基本概率论得到的一个基本结果是，如果pr（r）和T（r）已知，且在感兴趣的值域上T（r）是连续(continuous)且可微的(differentiable)，则变换(映射)后的变量s的PDF 可由下面的简单公式(formula)得到：

这样，我们看到，输出灰度变量s的 PDF 就由输入灰度的 PDF 和所用的变换函数s=T（r）决定。

但为什么有式（3.3-3）呢？怎么通过数学知识来证明式（3.3-3）呢？

老猿想了很久才弄明白，根据相关知识老猿试图给出推导证明。

二、两个存在映射关系的随机变量的概率密度函数关系研究

2.1、背景知识

在数学中，连续型随机变量的概率密度函数（ probability density function，简称pdf）是一个描述这个随机变量的输出值在某个确定的取值点附近的可能性的函数。

累积分布函数(Cumulative Distribution Function，简称CDF)，又叫分布函数，对于所有实数 ，累积分布函数定义如下：

即累积分布函数为随机变量出现概率小于等于x的总概率，是随机变量的取值落在某个区域之内的概率。它是概率密度函数在这个区域上的积分，能完整描述一个实随机变量的概率分布。即当概率密度函数存在的时候，累积分布函数是概率密度函数的积分。

2.2、本文讨论的一些限定

为了书写方便和便于理解，本文讨论中对函数名进行如下限定：

• 函数名如果出现两个字母，第二个字母为下标
• p开头的函数表示概率密度函数或累计分布函数，当表示累积分布函数时，P需要大写，另外在函数参数中用变量小于等于指定值形式表示
• 大写的函数名字母表示为对应小写字母的函数在其区间上的原函数，小写字母函数是大写字母函数的导数，例如p和P的区别，p表示概率密度函数，P表示累积分布函数，P是p的积分，即累积分布函数是概率密度函数的积分，与二者的定义相符
• 字母+‘_1’的函数表示为字母对应函数的反函数，这是为了输入方便用的，如：g_1是函数g的反函数。

2.3、具体研究内容

假设有：

1. 两个概率密度函数fy(y)=p(y) 和fx(x)=p(x)，x、y∈[0,+∞)，在区间[0,+∞)上二者对应的原函数为：
   FY（y）= P(Y≤y)、FX(x) = P(X≤x)，即二者分别对应于随机变量Y和X出现概率小于y和x的累积分布函数。
2. 在区间[0,+∞)上，存在有X到Y的映射函数y=g（x），g(x)为严格单调递增（或递减）函数，x=g_1(y)是其反函数。

已知函数fx(x)、g（x），求函数fy(y)。

解：
考虑g（x）为严格单调递增的情况，由假设可得：

1. 等式1： FY（y）= P( Y ≤ y ) = P {g(X) ≤ y} = P { X ≤ g_1(y)} = FX(g_1(y))
2. 对等式1两边求导可得：fy(y) = fx(g_1(y))(g_1’(y)) = fx(x)/g’(x) = fx(x) (dx/dy)
   注：利用了符合函数求导公式及反函数求导（请参考《人工智能数学基础–导数1：基础概念及运算》），另外y=g(x)的导数g’（x）=dy/dx

如果g（x）为严格单调递减的情况，由假设可得：

1. 等式2： FY（y）= P( Y ≤ y ) = P {g(X) ≤ y} = 1 - P { X ≤ g_1(y)} = 1-FX(g_1(y))
2. 对等式2两边求导可得：fy(y) = - fx(g_1(y))(g_1’(y)) = -fx(x)/g’(x) = fx(x)/|g’(x)| = fx(x) |dx/dy|
   注：由于g(x)是单调递减的，所以其导数为负值，该结论可以由导数的定义推断出来，也可以参考《人工智能数学基础：利用导数判断函数单调性、凹凸性、极值、最值和描绘函数图形》

综合g（x）单调递增和单调递减两种情况，可以得出：
fy(y) = fx(x)/|g’(x)| = fx(x) |dx/dy|

通常把J=dx/dy称为雅可（Jacco）比。

三、小结

本文介绍了两个存在映射关系的随机变量的概率密度函数之间的关系，并利用概率论和微积分的相关知识介绍了推导过程。

如对文章内容存在疑问，可在博客评论区留言，或扫描博客左边的二维码关注：老猿Python 微信公号发消息咨询。

参考资料： 罗腾飞 《随机信号分析与处理》

更多人工智能数学基础请参考专栏《人工智能数学基础》。

更多图像处理请参考专栏《OpenCV-Python图形图像处理》及《图像处理基础知识》的介绍。

写博不易，敬请支持：

如果阅读本文于您有所获，敬请点赞、评论、收藏，谢谢大家的支持！

关于老猿的付费专栏

1. 付费专栏《https://blog.csdn.net/laoyuanpython/category_9607725.html 使用PyQt开发图形界面Python应用》专门介绍基于Python的PyQt图形界面开发基础教程，对应文章目录为《 https://blog.csdn.net/LaoYuanPython/article/details/107580932 使用PyQt开发图形界面Python应用专栏目录》；
2. 付费专栏《https://blog.csdn.net/laoyuanpython/category_10232926.html moviepy音视频开发专栏 )详细介绍moviepy音视频剪辑合成处理的类相关方法及使用相关方法进行相关剪辑合成场景的处理，对应文章目录为《https://blog.csdn.net/LaoYuanPython/article/details/107574583 moviepy音视频开发专栏文章目录》；
3. 付费专栏《https://blog.csdn.net/laoyuanpython/category_10581071.html OpenCV-Python初学者疑难问题集》为《https://blog.csdn.net/laoyuanpython/category_9979286.html OpenCV-Python图形图像处理 》的伴生专栏，是笔者对OpenCV-Python图形图像处理学习中遇到的一些问题个人感悟的整合，相关资料基本上都是老猿反复研究的成果，有助于OpenCV-Python初学者比较深入地理解OpenCV，对应文章目录为《https://blog.csdn.net/LaoYuanPython/article/details/109713407 OpenCV-Python初学者疑难问题集专栏目录 》
4. 付费专栏《https://blog.csdn.net/laoyuanpython/category_10762553.html Python爬虫入门 》站在一个互联网前端开发小白的角度介绍爬虫开发应知应会内容，包括爬虫入门的基础知识，以及爬取CSDN文章信息、博主信息、给文章点赞、评论等实战内容。

前两个专栏都适合有一定Python基础但无相关知识的小白读者学习，第三个专栏请大家结合《https://blog.csdn.net/laoyuanpython/category_9979286.html OpenCV-Python图形图像处理 》的学习使用。

对于缺乏Python基础的同仁，可以通过老猿的免费专栏《https://blog.csdn.net/laoyuanpython/category_9831699.html 专栏：Python基础教程目录）从零开始学习Python。

如果有兴趣也愿意支持老猿的读者，欢迎购买付费专栏。

老猿Python，跟老猿学Python！

☞ ░ 前往老猿Python博文目录 https://blog.csdn.net/LaoYuanPython ░