最大似然估计单调增怎么办

Posted 2023-03-28

热门频道

首页

博客

学院

VIP

APP

问答

下载

推荐频道

论坛

活动

招聘

专题

打开CSDN APP
Copyright © 1999-2020, CSDN.NET, All Rights Reserved

程序员必备的浏览器插件
登录
极大似然估计与最大似然估计 原创
2012-04-10 09:04:52

deepfuture

码龄11年

关注
1、极大似然估计是一种目前仍然得到广泛应用的方法。它是建立在极大似然原理的基础上的一个统计方法，极大似然原理的直观想法是：一个随机试验如有若干个可能的结果A，B，C，…。若在一次试验中，结果A出现，则一般认为试验条件对A出现有利，也即A出现的概率很大。

可以这么理解，在多次试验中，试验条件X使众多试验结果的A结果发生的概率很大，我们计算这个试验条件的相关参数。你还可以更广泛地理解，在X发生的前提下，A发生的概率很大，我们知道A发生的概率，需要求出X发生的相关参数

极大似然估计是建立在这样的思想上：已知某个参数能使这个样本出现的概率最大，我们当然不会再去选择其他小概率的样本，所以干脆就把这个参数作为估计的真实值。 　

2、求极大似然函数估计值的一般步骤：

　　（1） 写出似然函数；

　　（2） 对似然函数取对数，并整理；

　　（3） 求导数 ；

　　（4） 解似然方程

　　极大似然估计，只是一种概率论在统计学的应用，它是参数估计的方法之一。说的是已知某个随机样本满足某种概率分布，但是其中具体的参数不清楚，参数估计就是通过若干次试验，观察其结果，利用结果推出参数的大概值。

　当然极大似然估计只是一种粗略的数学期望，要知道它的误差大小还要做区间估计。

3、

最大似然估计法的基本思想
　　最大似然估计法的思想很简单：在已经得到试验结果的情况下，我们应该寻找使这个结果出现的可能性最大的那个作为真的估计。
　　我们分两种情进行分析：
　　1．离散型总体　
　　设为离散型随机变量，其概率分布的形式为，则样本 的概率分布为，在固定时，上式表示 取值的概率；当固定时，它是的函数，我们把它记为 并称为似然函数。似然函数的值的大小意味着该样本值出现的可能性的大小。既然已经得到了样本值，那它出现的可能性应该是大的，即似然函数的值应该是大的。因而我们选择使 达到最大值的那个作为真的估计。

　　2．连续型总体
　　设为连续型随机变量，其概率密度函数为则为从该总体抽出的样本。因为相互独立且同分布，于是，样本的联合概率密度函数为
　　，在是固定时，它是在处的 密度，它的大小与落在附近的概率的大小成正比，而当样本值固定时，它是的函数。我们仍把它记为并称为似然函数。类似于刚才的讨论，我们选择使最大的那个作为真的估计。
　　　　　　　　　　　　　

　　总之，在有了试验结果即样本值时，似然函数反映了的各个不同值导出这个结果的可能性的大小。 我们选择使达到最大值的那个作为真的估计。这种求点估计的方法就叫作最大似然法。

　 7.2.2　最大似然估计的求法
　　假定现在我们已经观测到一组样本要去估计未知参数。一种直观的想法是，哪一组能数值使现在的样本出现的可能性最大，哪一组参数可能就是真正的参数，我们就要用它作为参数的估计值。这里，假定我们有一组样本.如果对参数的两组不同的值和，似然函数有如下关系
　　 ,
　　那么，从又是概率密度函数的角度来看，上式的意义就是参数使出现的可能性比参数使出现的可能性大，当然参数比更像是真正的参数.这样的分析就导致了参数估计的一种方法，即用使似然函数达到最大值的点,作为未知参数的估计，这就是所谓的最大似然估计。 现在我们讨论求最大似然估计的具体方法.为简单起见，以下记,求θ的极大似然估计就归结为求的最大值点.由于对数函数是单调增函数，所以
　　　　　　　　　　 　　　　　(7.2.1)

　与有相同的最大值点。而在许多情况下，求的最大值点比较简单，于是，我们就将求的最大值点改为求的最大值点.对关于求导数，并命其等于零，得到方程组
　　　　　　　　　　, (7.2.2)
　　称为似然方程组。解这个方程组，又能验证它是一个极大值点，则它必是，也就是的最大值点，即为所求的最大似然估计。大多常用的重要例子多属于这种情况。然而在一些情况下，问题比较复杂，似然方程组的解可能不唯一，这时就需要进一步判定哪一个是最大值点。
　　还需要指出，若函数关于的导数不存在时，我们就无法得到似然方程组 (7.2.2)，这时就必须根据最大似然估计的定义直接去的最大值点。
　　在一些情况下，我们需要估计。如果分别是的最大似然估计，则称为的最大似然估计。
　　下面我们举一些例子来说明求最大似然估计的方法。

　　 例 7.2.1 设从正态总体抽出样本，这里未知参数为mm 和（注意我们把看作一个参数）。似然函数为
　　　　　　　　
　　　　　 =
　　它的对数为
　　，
　　似然方程组为
　　　　　　　　　　　
　　由第一式解得
　　　　　　　　　　　， (7.2.3)
代入第二式得
　　　　　　　　　　　. (7.2.4)
　　似然方程组有唯一解(，)，而且它一定是最大值点，这是因为当或或∞时，非负函数。于是和的最大似然估计为
　　　　　　　　 ，. (7.2.5)
　　这里，我们用大写字母表示所有涉及的样本，因为最大似然估计和都是统计量，离开了具体的一次试验或观测，它们都是随机的。
　　例7.2.2　设总体服从参数为的泊松分布，它的分布律为
　　　　　　　　 ，
　　有了样本之后，参数λ的似然函数为
　　　　　　　　　　　，

　　似然方程为
　　　　　　　　　　　，
　　解得
　　　　　　　　　　　　 .
　　因为的二阶导数总是负值，可见，似然函数在处达到最大值。所以，是λ的最大似然估计。
　　例7.2.3 设总体为上的均匀分布，求的最大似然估计。
　　的概率密度函数为
　　　　　　　　　
　　对样本，
　　　　　　　　　

　　很显然，L(a，b)作为a和b的二元函数是不连续的。这时我们不能用似然方程组(7.2.2)来求最大似然估计，而必须从最大似然估计的定义出发，求L(a，b)的最大值。为使L(a，b)达到最大，b－a应该尽量地小，但b又不能小于，否则，L(a，b)=0。
　　类似地，a不能大过。因此，a和b的最大似然估计为
　　　　　　　　　 ，
　　　　　　　　　　　　.　
　　现在为止，我们以正态分布，泊松分布，均匀分布的参数以及事件发生的概率的估计为例子讨论了矩估计和最大似然估计。在我们所举的例子中，除了均匀分布外，两种估计都是一致的。矩估计的优点是简单，只需知道总体的矩，总体的分布形式不必知道。而最大似然估计则必须知道总体分布形式，并且在一般情况下，似然方程组的求解较复杂，往往需要在计算机上通过迭代运算才能计算出其近似解。

展开全文
极大似然估计法仿真程序
极大似然估计的实现，极大似然估计的实仿真程序，锚的坐标计算。
浏览器打开
逻辑回归与最大似然估计推导
目录 逻辑回归（对数几率回归） 1.广义线性模型 2.逻辑回归的假设 3. 逻辑回归的代价函数 为什么LR中使用交叉熵损失函数而不使用MSE损失函数？ 3. 极大似然估计 4. 利用梯度下降法求解参数w 4.1 三种梯度下降方法的选择 5.逻辑回归优缺点： 参考资料： 逻辑回归（对数几率回归） 逻辑回归是一种分类算法，不是回归算法，因为它用了和回归类似的思想来解决了分类问题...
浏览器打开

deepfuture
这篇文章对你有帮助吗？作为一名程序工程师，在评论区留下你的困惑或你的见解，大家一起来交流吧！
极大似然估计和最大似然估计定义
https://blog.csdn.net/z2539329562/article/details/79187967
浏览器打开
从最大似然到EM算法浅解
从最大似然到EM算法浅解 [e-mail] http://blog.csdn.net/zouxy09 机器学习十大算法之一：EM算法。能评得上十大之一，让人听起来觉得挺NB的。什么是NB啊，我们一般说某个人很NB，是因为他能解决一些别人解决不了的问题。神为什么是神，因为神能做很多人做不了的事。那么EM算法能解决什么问题呢？或者说EM算法是因为什么而来到这个世界
浏览器打开
...笔记_renxingzhadan的专栏_最大似然估计单调增怎么办
的似然函数分布图 主要注意的是多数情况下,直接对变量进行求导反而会使得计算式子更加的复杂,此时可以借用对数函数。由于对数函数是单调增函数,所以 ...
从最大似然到EM算法浅解_zouxy09的专栏
感性的说,因为下界不断提高,所以极大似然估计单调增加,那么最终我们会到达最大似然估计的最大值。理性分析的话,就会得到下面的东西: ...
极大似然估计和最大后验估计
https://baijiahao.baidu.com/s?id=1593811166204755239&wfr=spider&for=pc 机器学习中，一般只得到业务产生的数据集D，机器学习目的是通过数据D了解该项业务的过去（建模）和未来（预测和分类）。但你手头上只有数据集D，没有其他任何辅助信息，那么如何建模？ 1.概率假设合理吗？ 我们总是假设数据集D由某种概率分布生成...
浏览器打开
最大似然估计法（MLE）
最大似然估计（Maximum Likelihood Estimation），是一种统计方法，它用来求一个样本集的相关概率密度函数的参数。最大似然估计中采样需满足一个很重要的假设，就是所有的采样都是独立同分布的。 一、最大似然估计法的基本思想 　　最大似然估计法的思想很简单：在已经得到试验结果的情况下，我们应该寻找使这个结果出现的可能性最大的那个 作为真 的估计。
浏览器打开
机器学习之最大似然算法_linyanqing21的博客_最大化对数...
感性的说,因为下界不断提高,所以极大似然估计单调增加,那么最终我们会到达最大似然估计的最大值。理性分析的话,就会得到下面的东西: ...
MLE极大似然估计和EM最大期望算法_好记性不如烂笔头
感性的说,因为下界不断提高,所以极大似然估计单调增加,那么最终我们会到达最大似然估计的最大值。理性分析的话,就会得到下面的东西: ...
最大似然估计(Maximum likelihood estimation)(通过例子理解)
之前看书上的一直不理解到底什么是似然，最后还是查了好几篇文章后才明白，现在我来总结一下吧，要想看懂最大似然估计，首先我们要理解什么是似然，不然对我来说不理解似然，我就一直在困惑最大似然估计到底要求的是个什么东西，而那个未知数θ到底是个什么东西TT原博主写的太好了，这里 我就全盘奉上~似然与概率在统计学中，似然函数（likelihood function，通常简写为likelihood，似然）是一个非
浏览器打开
最大似然估计
最大似然估计 一、简介 最大似然估计法 是费希尔(Fisher, R. A.)于1912年首次提出，并于1921年和1925年的工作中加以发展使其更臻于完善。最大似然估计是一种求估计量的方法，它在求估计量的方法中地位是比较高的。那么最大似然估计法就是参数估计中的点估计中的一种方法的，按照变量的类型主要分为离散型随机变量与连续性随机变量。 二、离散型随机变量与连续性随机变量 1.离散型随机变量： ...
浏览器打开
从最大似然到EM算法浅解-讲义文档类资源
感性的说,因为下界不断提扃,所以极大似然估计单调增加,那么最终我们会到达最大似然估计的最大值。理性分析的话,就会得到下血的东西 (0+1)2∑∑?:(2)kea()...
极大似然估计(MLE)_weixinhum
⁡ x \ln x lnx是随着 x x x增大而单调增大的,也就是说当 ln ⁡ x \ln x lnx取得最大值的时候 x x x也取得最大值),这个时候极大似然估计变成...
最大似然估计 高斯分布 正态分布
极大似然估计法是求估计的另一种方法。它最早由高斯提出。后来为费歇在1912年的文章中重新提出，并且证明了这个方法的一些性质。极大似然估计这一名称也是费歇给的。这是一种上前仍然得到广泛应用的方法。它是建立在极大似然原理的基础上的一个统计方法，极大似然原理的直观想法是：一个随机试验如有若干个可能的结果A，B，C，…。若在一次试验中，结果A出现，则一般认为试验条件对A出现有利，也即A出现的概率很大。 ...
浏览器打开
【机器学习】MAP最大后验估计和ML最大似然估计区别
MAP：maximun a posteriori 最大后验估计 ML：maximun likelihood. 1 MAP A maximum a posteriori probability (MAP) estimate is an estimate of an unknown quantity, that equals the mode of the posterior d
浏览器打开
机器学习之极大似然估计详解_daerzei的专栏
极大似然估计在机器学习中很多模型都会用到,理解了极大似然估计对后面学习机器学习有很大帮助。 极大似然估计听着很高冷,光看名字就让需要数学不好的同学望而却步。
写评论

评论

收藏

点赞

分享
APP记录你的成长 参考技术A 极大似然估计与最大似然估计 原创
2012-04-10 09:04:52

deepfuture 

码龄11年

关注
1、极大似然估计是一种目前仍然得到广泛应用的方法。它是建立在极大似然原理的基础上的一个统计方法，极大似然原理的直观想法是：一个随机试验如有若干个可能的结果A，B，C，…。若在一次试验中，结果A出现，则一般认为试验条件对A出现有利，也即A出现的概率很大。

可以这么理解，在多次试验中，试验条件X使众多试验结果的A结果发生的概率很大，我们计算这个试验条件的相关参数。你还可以更广泛地理解，在X发生的前提下，A发生的概率很大，我们知道A发生的概率，需要求出X发生的相关参数

极大似然估计是建立在这样的思想上：已知某个参数能使这个样本出现的概率最大，我们当然不会再去选择其他小概率的样本，所以干脆就把这个参数作为估计的真实值。 　

2、求极大似然函数估计值的一般步骤：

　　（1） 写出似然函数；

　　（2） 对似然函数取对数，并整理；

　　（3） 求导数 ；

　　（4） 解似然方程

　　极大似然估计，只是一种概率论在统计学的应用，它是参数估计的方法之一。说的是已知某个随机样本满足某种概率分布，但是其中具体的参数不清楚，参数估计就是通过若干次试验，观察其结果，利用结果推出参数的大概值。

　当然极大似然估计只是一种粗略的数学期望，要知道它的误差大小还要做区间估计。

3、

最大似然估计法的基本思想
　　最大似然估计法的思想很简单：在已经得到试验结果的情况下，我们应该寻找使这个结果出现的可能性最大的那个作为真的估计。
　　我们分两种情进行分析：
　　1．离散型总体　
　　设为离散型随机变量，其概率分布的形式为，则样本 的概率分布为，在固定时，上式表示 取值的概率；当固定时，它是的函数，我们把它记为 并称为似然函数。似然函数的值的大小意味着该样本值出现的可能性的大小。既然已经得到了样本值，那它出现的可能性应该是大的，即似然函数的值应该是大的。因而我们选择使 达到最大值的那个作为真的估计。 参考技术B 1. 作用

在已知试验结果（即是样本）的情况下，用来估计满足这些样本分布的参数，把可能性最大的那个参数作为真实的参数估计。

2. 离散型

设为离散型随机变量，为多维参数向量，如果随机变量相互独立且概率计算式为P，则可得概率函数为P=，在固定时，上式表示的概率；当已知的时候，它又变成的函数，可以把它记为，称此函数为似然函数。似然函数值的大小意味着该样本值出现的可能性的大小，既然已经得到了样本值，那么它出现的可能性应该是较大的，即似然函数的值也应该是比较大的，因而最大似然估计就是选择使达到最大值的那个作为真实的估计。

3. 连续型

设为连续型随机变量，其概率密度函数为，为从该总体中抽出的样本，同样的如果相互独立且同分布，于是样本的联合概率密度为。大致过程同离散型一样。

4. 关于概率密度(PDF)

我们来考虑个简单的情况(m=k=1)，即是参数和样本都为1的情况。假设进行一个实验，实验次数定为10次，每次实验成功率为0.2，那么不成功的概率为0.8，用y来表示成功的次数。由于前后的实验是相互独立的，所以可以计算得到成功的次数的概率密度为：

= 其中y

由于y的取值范围已定，而且也为已知，所以图1显示了y取不同值时的概率分布情况，而图2显示了当时的y值概率情况。