机器学习之概率与统计- 多元随机变量及其分布
Posted tanv
tags:
篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了机器学习之概率与统计- 多元随机变量及其分布相关的知识，希望对你有一定的参考价值。
目录
9.3 KL散度（Kullback-Leibler divergenc，KL divergence）
9.5最大信息系数（maximal information coefficient，MIC）
1.多元正态分布（multivariate normal, MVN）
3.1朴素贝叶斯分类器（Naive Bayes Classifier, NBC）
一、随机向量及其分布
多元随机向量的分布：在多个随机变量组成的向量上定义的分布。
1．多元向量的联合分布
1.1离散情况
假设D维随机向量(X1, …, XD)，其中Xj为离散型随机变量，则定义联合概率质量函数(pmf)为：
联合概率分布函数(CDF)为：
1.2连续情况
假设D维随机向量(X1, …, XD)，其中Xj为连续型随机变量，则定义联合概率密度函数(pdf)为：
其中：
联合概率分布函数(CDF)为：
对任意集合：
2．多元向量的边缘分布
2.1离散情况
假设D维离散型随机向量(X1, …, XD)有联合质量函数p(X1, …, XD)，则定义Xj的边缘概率质量函数：
2.2连续情况
假设D维连续型随机向量(X1, …, XD)有联合质量函数p(X1, …, XD)，则定义Xj的边缘概率质量函数：
3．多元向量的条件分布
（1） 例如，对二维随机变量(X,Y), 当p(y) ＞ 0时，给定Y=y时X的条件分布为：
即：
（2） 链规则（Chain Rule）
例如有3个随机变量时：
或者：