关于最大似然估计的理解

Posted 2021-03-10 duoba

似然 这个词害死人啊！

拽什么拽啊，就是 最大可能估计！还有什么极大似然估计。都是坑人的，都一样。

 

最大似然估计是机器学习领域最为常见的用来构建 目标函数 的方法。

他的核心思想是：根据观测到的结果来预测其中的未知参数。

 

假设有一枚硬币，它是不均匀的，也就是说出现正面的反面的概率是不同的。假设我们设定这枚硬币出现正面的概率为  , 这里  指的是正面(head), 类似的还会有反面（tail）。假设我们投掷6次之后得到了以下的结果，而且我们假定每次投掷都是相互独立的事件：

其中D表示所观测到的所有样本。从这个结果其实谁都可以很容易说出  ，也就是出现正面的概率为4/6，其实我们在无意识中使用了最大似然估计法。接下来，我们从更严谨的角度来定义最大似然下的目标函数。

基于最大似然估计法，我们需要最大化观测到样本的概率，即p(D)。进一步可以写成：

我们的目标是最大化概率值  。那这部分的优化即可以采用上面所提到的方法。

把这个式子整理完之后即可以得到  , 结果跟一开始我们算出来的是一致的。