信息论与编码| 自信息与信息熵

Posted 2022-10-09

自信息

信息量

如何考察或计算信源输出的消息(或者符号)的信息量?

• 信源的信息实质:不确定性（信源输出的是消息，消息的内涵是信息。信源输出一个符号，我们认为发生一个事件）。
• 数学上我们用概率（或概率密度）来表征事件不确定性的大小。

1.信息量的大小与不确定性的消除多少有关;

收到某消息获得的信息量=不确定性的减少量=(收到该消息前关于某事件发生的不确定性)-(收到此消息后关于某事件发生的不确定性)

2.信道无噪声，收到某消息获得的信息量=收到该消息前关于某事件发生的不确定性=信源输出的某消息中所含的信息量。

3.概率小→不确定性大;概率大→不确定性小。

因此，某事件发生所含的信息量应该是该事件发生的先验概率的函数。

自信息定义

事件集合 中的事件 的自信息定义为 或记为:

注意 1 : 要求 I(x) 非负. 所以对数的底数必须大于 1 .

• 底数为 2 , 单位为比特 (bit) ;
• 底数为 \\mathrme , 单位为奈特 (Nat)；
• 底数为 10 , 单位为笛特(Det)。

1 bit =0.693 Nat =0.301 Det

注意2: I(x) 是随机变量.

自信息的含义:

• 在事件发生前, 自信息表示事件发生的不确定性。
• 在事件发生后, 自信息表示事件所包含的信息量, 是提供给信宿的信息量, 也是解除这种不确定性所需要的信息量

联合自信息

联合事件集合 中的事件 《信息与编码》考试复习笔记6----第六章连续信源熵和信道容量（考点在连续信道容量）

视频编解码·学习笔记7. 熵编码算法：基础知识 & 哈夫曼编码

信息论-熵

关于信息论中熵的定义与含义：

《信息与编码》考试复习笔记3----第三章无失真离散信源编码（重要）

《信息与编码》考试复习笔记3----第三章无失真离散信源编码补充例题