熵——自信息

Posted 2020-11-06 笨拙的忍者

整理自：https://mp.weixin.qq.com/s/LGyNq3fRlsRSatu1lpFnnw

自信息是熵的基础，理解它对后续理解各种熵非常有用。自信息表示某一事件发生时所带来的信息量的多少，当事件发生的概率越大，则自信息越小，或者可以这样理解：某一事件发生的概率非常小，但是实际上却发生了(观察结果)，则此时的自信息非常大；某一事件发生的概率非常大，并且实际上也发生了，则此时的自信息较小。以全班的考试成绩为例，通常我们知道整个班成绩是符合高斯分布的，通过一次考试，发现每个人成绩都是相同的，则在学校看来这是一个爆炸性新闻，因为这是一个极低的事件，但是却发生了，不符合常规，下一步应该就是调查了吧。再说一个生活中的例子，如果有人告诉我们一件相当不可能发生的事件发生了，那么我们收到的信息量要多于我们被告知某个很可能发生的事件发生时收到的信息，此时自信息就比较大了。

 

度量方式 

我们现在要寻找一个函数，它要满足的条件是：

1. 事件发生的概率越大，则自信息越小；
2. 自信息不能是负值，最小是0；
3. 自信息应该满足可加性，并且两个独立事件的自信息应该等于两个事件单独的自信息。

 

具体公式

其中表示随机变量的第i个事件发生的概率，自信息单位是bit,表征描述该信息需要多少位。可以看出，自信息的计算和随机变量本身数值没有关系，只和其概率有关，同时可以很容易发现上述定义满足自信息的3个条件。