机器学习理论基础 | 最大似然函数

Posted 2021-08-31 AI算法攻城狮

概率函数 vs 似然函数  : p(x|θ) (概率函数是θ，已知，求x的概率。似然函数是x已知，求θ)

求最大似然函数估计值的一般步骤：

（1）写出似然函数；

（2）对似然函数取对数，并整理；

（3）求导数，令导数为0，得到似然方程；

（4）解似然方程，得到的参数即为所求；

最大似然函数推导交叉熵：

二分类问题二分类模型可认为符合二项分布，设X={0,1}，  为样品的真实类别。

则有  

因此有

对于m次观察结果，则有

写出似然函数

为了方便计算，