最大熵模型

Posted 2020-09-21

   我们不要把鸡蛋都放在一个篮子里面讲得就是最大熵原理，从投资的角度来看这就是风险最小原则。从信息论的角度来说，就是保留了最大的不确定性，也就是让熵达到了最大。最大熵院里指出，对一个随机事件的概率分布进行预测的时候，我们的预测应当满足全部的已知条件，而对于未知的情况不要做任何的主观假设（不做主观假设这点很重要）。在这种情况下，概率分布最均匀，预测的风险最小。

   香浓证明：对任何一组不自相矛盾的信息，这个最大熵模型不仅存在，而且是唯一的。和现在的函数softmax形式很类似，其实在物理意义上面说的是一回事。在解决复杂的文字处理上面很有希望。最大熵魔性的求解方式是使用EM算法，

   1、假定第0次迭代的初始模型为等概率的均匀分布

   2、用第N次迭代的模型来估算每种信息特征在训练数据中的分布。如果超出了实际的，就把相应的模型参数变小。否则，将他们变大。

   3、重复步骤2，直到收敛。

 

最大熵模型是集简繁于一体，形式简单，实现复杂，计算量太大了。