条件熵的辩疑

Posted 终有扬眉吐气天

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了条件熵的辩疑相关的知识,希望对你有一定的参考价值。

条件熵的形式如下:

技术分享 8.8

这个形式与熵的定义形式,咋一看是冲突的,因为不是p(x|y),而是p(x,y)

但是,这个式子是没有问题的,请看下图

技术分享

上面得到的计算公式是针对y为一个特殊值y时求得的熵。

也就是说,对条件概率p(x|y)求西格玛x, 西格玛y的时候,首先是固定y,对西格玛X求和

这也符合条件概率的定义,p(x|y) 如果求西格玛,好像不能先固定X,对Y求和。这里X是后验,Y之间没有联系。所以只能先对X求和。

对X求完和之后,实际上这时H(x|yi) =  H(x|y=yi)

H(x|y)=sigmaP(y)H(x|y=yi)

也就是求期望。

综上所述,对条件概率求条件熵的过程,先是固定一个先验概率Y,对X求和。这样算出来的是某个条件下的条件熵,然后再求期望,算出平均的条件熵。

条件熵,顾名思义,某条件下的熵,也就是说,先验概率Y默认就是固定的某个值,因此对所有的P(x|yi)按Y取期望,可不正好符合定义吗?

以上是关于条件熵的辩疑的主要内容,如果未能解决你的问题,请参考以下文章

熵,条件熵,相对熵,互信息的相关定义及公式推导

机器学习——决策树

决策树与熵演变

B-概率论-熵和信息增益

最大熵模型原理小结

最大熵模型原理小结