极大似然估计和最小二乘法

Posted 2021-03-16 gaowenxingxing

目录

• 1.极大似然估计
  • 公式推导
• 2.最小二乘法

可能我从来就没真正的整明白过，只是会考试而已
搞清楚事情的来龙去脉不容易忘记
两个常见的参数估计法：
极大似然估计法和最小二乘法

1.极大似然估计

ref知乎,模型已定，参数未知的条件下，根据实验数据估计参数模型，等价于“利用已知的样本结果，反推最有可能（最大概率）导致这样结果的参数值”
举个例子

一个麻袋里有白球与黑球，但是我不知道它们之间的比例，那我就有放回的抽取10次，结果我发现我抽到了8次黑球2次白球，我要求最有可能的黑白球之间的比例时，就采取最大似然估计法：
 我假设我抽到黑球的概率为p,那得出8次黑球2次白球这个结果的概率为：P(黑=8)=p^8*（1-p）^2,现在我想要得出p是多少啊，很简单，使得P(黑=8)最大的p就是我要求的结果，接下来求导的的过程就是求极值的过程啦。可能你会有疑问，为什么要ln一下呢，这是因为ln把乘法变成加法了，且不会改变极值的位置（单调性保持一致嘛）这样求导会方便很多~同样，这样一道题：设总体X 的概率密度为 已知 X1,X2..Xn是样本观测值，求θ的极大似然估计这也一样啊，要得到 X1,X2..Xn这样一组样本观测值的概率是P{x1=X1,x2=X2,...xn=Xn}=f(X1,θ)f(X2,θ)…f(Xn,θ)  然后我们就求使得P最大的θ就好啦，一样是求极值的过程

看过知乎几个答主讲的，感觉都不太像是在说人话。。
这个是我体听过最好的解释了

知乎

公式推导

一元线性回归中：随机抽取n组样本观测值：(X_i)，(Y_i)（i=1,2...n）假如模型参数已经求得(B_0)和(B_1),那么(Y_i)f服从的正态分布如下
[ Y_{i} sim Nleft(hat{eta}_{0}+hat{eta}_{1} X_{i}, sigma^{2} ight) ]
(Y_i)的概率分布函数如下
[ Pleft(Y_{i} ight)=frac{1}{sigma sqrt{2 pi}} e^{-frac{1}{2 sigma^{2}}left(Y_{i}-eta_{0}-hat{eta}_{1} X_{i} ight)^{2}} ]
因为(Y_i)的样本是独立同分布的，所以Y的样本联合分布概率的似然函数为
[ Lleft(hat{eta}_{0}, hat{eta}_{1}, sigma^{2} ight)=Pleft(Y_{1}, Y_{2}, ldots, Y_{n} ight)=frac{1}{(2 pi)^{n / 2} sigma^{n}} e^{-frac{1}{2 sigma^{2} T} sumleft(gamma_{i}-hat{eta}_{0}-hat{eta}_{1} X_{j} ight)^{2}} ]
将这个函数求极大值，另外，似然函数的极大化与极大似然函数取对数后再极大化是等价的，取对数后的极大似然函数如此啊
[ L^{*}=ln L=-n ln (sqrt{2 pi} sigma)-frac{1}{2 sigma^{2}} sumleft(Y_{i}-hat{eta}_{0}-hat{eta}_{1} X_{i} ight)^{2} ]
求(L^*)的极大值等价于(Sigmaleft(Y_{i}-hat{eta}_{0}-hat{eta}_{1} X_{i} ight)^{2})求极小，按照正常求导步骤求解即可

2.最小二乘法

最小二乘法就是在这些散点图中找到一条能够反映相关性的一条直线，这条直线使得所有点到这条直线的距离的平方和最小，最后我们通过对这条直线的未知系数求偏导
这个一般的统计学上的书会有，考试时候也会出一些简单的题手算，就是求一条直线的斜率和截距
这个讲的更加清楚一些博客园