机器学习概率论的一些基础知识

Posted 2022-10-31 bbird

概率论的一些基础知识

条件概率

\(P(B|A) = \frac13\) 表示的意思为当A发生的时候，B发生的概率

有公式
\[P(B|A) = \fracP(AB)P(A)\]

\[P(AB) = P(B|A)*P(A)=P(A|B)*P(B)\]

\[ P(A|B) = \fracP(B|A)*P(A)P(B)\]

全概率公式

\(B_1,B_2,B_3\)……\(B_n\) 为样本空间的S的一个划分则可以得到
\(P(A) = P(A|B_1) + P(A|B_2)+……P(A|B_n)= \sum_i=0^n\)P(A|B_i)$

贝叶斯公式

\[P(B_i|A) = \fracP(A|B_i)*P(B_i)\sum_i=0^n$P(A|B_i)\]

关于贝叶斯公式的几个理解和解释

\[ P(A|B) = \fracP(B|A)*P(A)P(B)\]
其中P(A)的概率为先验概率，这个在机器学习中通常指的是某个分类出现的概率>

P(B|A)为条件概率，就是在A类中B发生的概率

P(A|B)为后验概率，具体指的含义为：当B事件发生了，这个时候来自A分类的概率是多少。

极大似然估计 maximum-likelihood

原理

利用已知的样本结构，去反推最大可能导致这样结果的参数值。极大似然估计是建立在极大似然原理的基础上的一个统计方法，是概率论在统计学中的应用。极大似然估计提供了一种给定观察数据来评估模型参数的方法，即：“模型已定，参数未知”。通过若干次试验，观察其结果，利用试验结果得到某个参数值能够使样本出现的概率为最大，则称为极大似然估计。

由于样本集中的样本都是独立同分布，可以只考虑一类样本集D，来估计参数向量θ。记已知的样本集为：\[D=\ x_1,x_2,x_3,……x_n \\]

\[l(\theta)=p(D|\theta)=p(x_1,x_2,x_3……x_N| \theta )=\prod_i=1^nP(x_i|\theta)\] 就是D的似然函数

ML 中如何求极大似然函数

求使得出现该组样本的概率最大的θ值。

\[ \hat\theta=argmax l(\theta)=argmax\prod_i=1^NP(x_i|\theta)\]

简单的理解，我们就是在已知是\(\theta\) 发生的情况下让D序列出现的概率最大。而连乘不太好计算。我们可以做一下改变。
\[ \hat\theta=argmax l(\theta)=argmax\prod_i=1^NP(x_i|\theta) = argmax (ln(\prod_i=1^NP(x_i|\theta)))= argmax \sum_i=1^Nln(P(x_i|\theta))\]