机器学习-单高斯分布参数估计

Posted 2021-02-28 tingweichen

高斯分布

对于单维高斯分布而言，其概率密度函数可以表示成

[p(x)=frac{1}{sqrt{2 pi}sigma}e^{-frac{(x-u)^2}{2sigma^2}} ]

其中(u)表示均值，(sigma^2)表示方差。

对于多维高斯分布而言，其概率密度函数可以表示成

[p(x)=frac{1}{(2pi)^{p/2}lvert Sigma vert^{1/2}}e^{-frac{1}{2}(x-u)^TSigma^{-1}(x-u)} ]

其中p表示维度，首先介绍如何根据极大似然估计求解高斯分布中的参数(lambda=(u,sigma^2))。这里以一维高斯分布为例。

首先定义似然函数

[ell (lambda)=logP(x|lambda)=logPi_{i=1}^{N}p(x_{i}lvertlambda)=sum_{n=1}^{N}log p(x_ilvertlambda)\=sum_{n=1}^{N}(log(frac{1}{sqrt{2pi}})+log{frac{1}{sigma}}-frac{(x_i-u)^2}{2sigma^2}) ]

让(ell(lambda))分别对(u)和(sigma)求偏导数，然后令其等于0，可以得到

[frac{partial ell(lambda)}{partial u}=sum_{n=1}^{N}(-frac{1}{2sigma^2}*2*(x_i-u)*(-1))=0 ]

可以得到(u)的值为

[u=frac{1}{N}sum_{n=1}^{N}x_{i} ]

同样的，可以得到(ell(lambda))对(sigma)的偏导数为

[frac{partial{ell(lambda)}}{partial{sigma}}=sum_{i=1}^{N}(-frac{1}{sigma}-(x_i-u)^2*frac{1}{2}*(-2)*(sigma)^3)=0 ]

可以得到(sigma^2)的值为

[sigma^2=frac{1}{N}sum_{n=1}^{N}(x_i-u)^2 ]

至此已经完成了单维高斯分布中的参数估计。