条件熵的辩疑

Posted 2020-08-06 终有扬眉吐气天

条件熵的形式如下：

 （8.8）

这个形式与熵的定义形式，咋一看是冲突的，因为不是p(x|y),而是p(x,y)

但是，这个式子是没有问题的，请看下图

上面得到的计算公式是针对y为一个特殊值y时求得的熵。

也就是说，对条件概率p(x|y)求西格玛x, 西格玛y的时候，首先是固定y,对西格玛X求和

这也符合条件概率的定义，p(x|y) 如果求西格玛，好像不能先固定X，对Y求和。这里X是后验，Y之间没有联系。所以只能先对X求和。

对X求完和之后，实际上这时H(x|yi) =  H(x|y=yi)

H(x|y)=sigmaP(y)H(x|y=yi)

也就是求期望。

综上所述，对条件概率求条件熵的过程，先是固定一个先验概率Y，对X求和。这样算出来的是某个条件下的条件熵，然后再求期望,算出平均的条件熵。

条件熵，顾名思义，某条件下的熵，也就是说，先验概率Y默认就是固定的某个值，因此对所有的P(x|yi)按Y取期望，可不正好符合定义吗？