Part I/ Chapter 3 概率论&结构化概率模型

Posted 2022-12-13 rainton-z

概率论：用于表示不确定性声明的数学框架，它不仅提供了量化不确定性的方法，也提供了用于导出新的不确定性声明的公理。

一、概率论在人工智能领域的用途：

　　①概率法告诉我们AI系统如何推理，据此我们设计一些算法来计算或者估算由概率论导出的表达式；

　　②我们可以用概率和统计从理论上分析为我们提出的AI系统的行为。

二、不确定性的三种可能来源：

　　①被建模系统内在的随机性；

　　②不完全观测；

　　③不完全建模。

三、频率派概率（frequentist probability）：直接与事件发生的频率相联系的概率，如扑克牌游戏中抽出一手特定的牌的概率。

       贝叶斯概率（Bayesian probability）：涉及到确定性水平的概率，如病人患的病是流感的概率。

四、随机变量：可以随机地取不同值的变量。可以是连续的或者离散的。

五、概率分布：用来描述随机变量或一簇随机变量在每一个可能取到的状态的可能性大小。

　　1、离散型变量的概率分布由概率质量函数（probability mass function）描述，连续型随机变量的概率分布由概率密度函数（probability density function）描述。

　　2、联合概率分布、边缘概率分布、条件概率。

　　3、独立性和条件独立性。

　　4、期望（expectation）、方差（variance）和协方差（covariance）。

　　5、常用的概率分布：Bernoulli分布、Multinoulli分布、高斯分布、指数分布、Laplace分布、Dirac分布、经验分布。

　　6、中心极限定理（central limit theorem）：独立同分布随机变量的和近似服从高斯分布（正态分布）。

　　7、先验概率和后验概率

六、常用函数及性质：

　　1、logistic sigmoid函数：（1+e^-x）^-1，在变量取绝对值很大的正值或负值时出现饱和现象。

　　2、softplus函数：log（1+e^x），可用于产生正态分布的均值和方差。

七、贝叶斯规则：

　　P(x|y)=P(x)P(y|x)/P(y)

 

结构化概率模型（图模型）：用图来表示概率分布的分解

一、对于概率分布的思考：机器学习的算法经常会涉及到在非常多的随机变量上的概率分布，而通常这些概率分布涉及到的直接相互作用都是介于非常少的变量之间的，因而使用单个函数描述整个联合分布概率的效率是很低的，可以将概率分布分解成许多因子的乘积形式，就可以极大地减少用来描述一个分布的参数数量。可以用图来描述这种分解。

二、类型：

　　1、有向（directed）模型：用条件概率分布来表示分解。

　　2、无向（undirected）模型：用一组函数来表示分解（这些函数并不是概率分布），同时需要除以归一化常数Z得到归一化的概率分布。

　　3、有向或者无向并不是概率分布的特性，而是概率分布的一种特殊描述所具有的特性，任何概率分布都可以用这两种方式进行描述。