极大似然估计——为什么对于离散属性，极大似然估计法得到的类条件概率等于频率？

Posted 2022-12-03 Vic时代

极大似然估计就是最大化对数似然。

假设第c类有K个样本。属性取值为N种，表示为集合X，且取第i个属性值的样本共有$k_i$个，显然有

$$\\sum_i=1^N k_i=K.$$

极大似然估计首先假设$P(x|c)=f(x, \\theta_c)$，这个$f(x,\\theta_c)$是自己设定的，比如对于连续的属性，可以假设$f$是高斯概率密度函数。但是这里是离散的情况，所以假设 $$f(x,\\theta_c) = \\theta_c^x，$$

注意，$f$是概率密度函数，要满足概率条件，即$\\sum_x\\in X \\theta_c^x = 1$。上面已经假设了$x$总共有N种情况。

然后，极大似然估计希望概率分布最大化对数似然:
$$LL(\\theta_c)=\\log P(D_c|\\theta_c)=\\sum_x\\in D_c\\log P(x|\\theta_c).$$

于是我们得到离散属性情况下的优化目标：

$$\\beginalign \\min_\\theta_c & \\quad - \\sum_x\\in D_c\\log P(x|\\theta_c) = - \\sum_x_i \\in X k_i \\log P(x_i|\\theta_c)=- \\sum_x_i \\in X k_i \\theta_c^x_i \\\\ s.t. &\\quad \\sum_x_i \\in X \\theta_c^x_i = 1 \\endalign$$

解这个优化问题，得到最优解为

$$\\theta_c^x_i=\\frack_iK,$$

也就是在离散情况下，极大似然估计得到的概率就是频率。

对于高斯分布，同样的方法进行推理，只是 f f <script id="MathJax-Element-36" type="math/tex">f</script>的形式不同而已。