1_基本概念

Posted 2020-09-23

概率(probability)

旧称幾率，又称或然率、机会率或几率、可能性，是数学概率论的基本概念，是一个在0到1之间的实数，是对随机事件发生之可能性的度量。

以下给出概率的公理化定义：

设随机事件的样本空间为Ω，Ω的一个子集称为事件。对于Ω中的每一个事件A，都有实函数P(A)，满足：

非负性： P(A)≥0

规范性： P(Ω)=1

可数可加性：对可数个两两互斥事件{Ai}i∈N有： 

任意一个满足上述条件的函数P都可以作为样本空间Ω的概率函数，称函数值P(A)为Ω中事件A的概率。

 

最大似然估计(maximum likelihood estimation)

概率密度函数知道形式，但是有未知参数θ，用一组样本值估计和似然函数估计θ，方法是一阶导数为零的θ。为什么这时候θ^让估计是最可能的？-θ改变一点点，新的估值不会很大变化。θ^叫θ的最大似然估计，要是一阶导函数没有极值点，那θ就没有最大似然估计，导函数多个极值点，θ就多个最大似然估计。

似然函数又是什么？x1.x2...xn不变时候，θ的函数。

当有多个估计参数时候要求偏导数。

 

条件概率（conditional probability）

就是事件A在另外一个事件B已经发生条件下的发生概率。条件概率表示为P（A|B），读作“在B条件下A的概率”。

 

全概率公式（full probability）

假设{ Bn : n = 1, 2, 3, ... } 是一个概率空间的有限或者可数无限的分割（既 Bn为一完备事件组），且每个集合Bn是一个可测集合，则对任意事件A有全概率公式：

 

贝叶斯决策理论(Bayesian decision theory)

分割：不交叉地划分整个集合。

 

二项分布（英语：Binomial distribution）

是n个独立的是/非试验中成功的次数的离散概率分布，其中每次试验的成功概率为p。

 性质：

1.期望值E 是线性函数。

2.X 和Y 为在同一概率空间的两个随机变量(可以独立或者非独立)，a 和b 为任意实数。

一般的说，一个随机变量的函数的期望值并不等于这个随机变量的期望值的函数。

3.在一般情况下，两个随机变量的积的期望值不等于这两个随机变量的期望值的积。除非独立：

 

期望(expectation)

在概率论和统计学中，一个离散性随机变量的期望值（或数学期望、或均值，亦简称期望，物理学中称为期待值）是试验中每次可能的结果乘以其结果概率的总和。

设X为服从分布F的随机变量， 如果E[X]是随机变数X的期望值（平均数μ=E[X]）

 

方差(variance)

方差（Variance），应用数学里的专有名词。在概率论和统计学中，一个随机变量的方差描述的是它的离散程度，也就是该变量离其期望值的距离。