机器学习：极大似然估计

Posted 2021-03-05 moonlight-lin

极大似然估计（Maximum Likelihood Estimate，MLE）
??
由于样本数据，是实实在在发生的数据，有理由相信该样本出现的概率本来就比较大，极大似然估计假设该样本出现的概率是最大的，然后通过该样本寻找一组参数，该参数使得该样本出现的概率最大
??
比如：班里有 50 个男生，50 个女生，我们拥有所有男生的身高数据，也拥有所有女生的身高数据，假定男生的身高服从正态分布，女生的身高服从另一个正态分布，这时可以用极大似然法，通过 50 个男生和 50 个女生的样本来估计这两个正态分布的参数，该参数使得样本数据出现的概率最大
??
设有样本 (large X = (x_{1}, x_{2}, ..., x_{n}))
预测算法的参数为 (small heta)，不同参数下 X 出现的概率不同，表示为
??
??(large P(X| heta) = P(x_{1}, x_{2}, ..., x_{n}| heta) = prod_{i=1}^{n}P(x_{i}| heta))
??
极大似然估计就是求解使得 (small P(X| heta)) 为最大值的 (small heta)
??
实际中为了方便计算，经常改成对数形式
??
??(large ln(prod_{i=1}^{n}P(x_{i}| heta)) = sum_{i=1}^{n}(ln(P(x_{i}| heta))))
??
以上面例子中的正态分布为例，一维正态分布函数为
??
??(large f(x) = frac{1}{sqrt{2pi}sigma}exp(-frac{(x-mu)^{2}}{2 sigma^{2}}))
??
则有
??
??(large P(X| heta) = prod_{i=1}^{n}frac{1}{sqrt{2pi}sigma}exp(-frac{(x_{i}-mu)^{2}}{2 sigma^{2}}))
??
????? ? (large = (2pisigma^{2})^{-frac{n}{2}}exp(-frac{1}{2sigma^{2}}sum_{i=1}^{n}(x_{i}-mu)^{2}))
??
取对数
??
??(large H(mu,sigma^{2}) = ln(P(X| heta)))
??
?????? ??(large = ln((2pisigma^{2})^{-frac{n}{2}}exp(-frac{1}{2sigma^{2}}sum_{i=1}^{n}(x_{i}-mu)^{2})))
??
?????? ??(large = -frac{n}{2}ln(2pi)-frac{n}{2}ln(sigma^{2}) - frac{1}{2sigma^{2}}sum_{i=1}^{n}(x_{i}-mu)^{2})
??
求导得到
??
??(large frac{partial H(mu,sigma^{2})}{partial mu} =frac{1}{sigma^{2}}sum_{i=1}^{n}(x_{i}-mu))
??
??(large frac{partial H(mu,sigma^{2})}{partial sigma^{2}}=-frac{n}{2sigma^{2}}+ frac{1}{2sigma^{4}}sum_{i=1}^{n}(x_{i}-mu)^{2})
??
另导数为 0 求解得到
??
??(large mu = frac{1}{n}sum_{i=1}^{n}x_{i})
??
??(large sigma^{2} = frac{1}{n}sum_{i=1}^{n}(x_{i}-mu)^{2})
??
这两个参数使得样本出现的概率最大
于是就用这两个参数代入正态分布函数，用以预测新的数据