[信息论与编码理论专题-3]：信源及其信息测量

Posted 2021-08-03 文火冰糖的硅基工坊

作者主页(文火冰糖的硅基工坊)：https://blog.csdn.net/HiWangWenBing

本文网址：https://blog.csdn.net/HiWangWenBing/article/details/118533692

---

第1部分 离散无记忆信源的数学模型

备注：投掷硬币本质上就是二进制信源系统，因此二进制信源实际是指有一连串的二进制比特组成，每个比特出现0和1，是一种不确定性的概率，如果是确定性的二进制比特，就不需要通信来进行传输了。正是因为0和1是不确定性的，才需要发送方发送，接收方接收。

第2部分 离散无记忆信源的测度

备注：所谓信源的测度，就是每个符号携带多少的信息量。

备注：自信息量，就是一定概率某单一事件，其自身包含的信息量。

信源熵：是所有可能的消息（或事件）的自信息量的平均信息量，而不是单一的事件的信息量。

备注：

0.99表示发生的概率高达99%，0.01表示发生的概率极低，只有1%，如果，x1表示发送1，x2表示发送0，则X信源发送的信息，大概率是1，小概率是0。

0.5表示发生为50%，不发生的概率为50%，如果，y1表示发送1，y2表示发送0，则Y信源发送的信息，发送1和0的概率各位50%，也就是发送1或0是随机的。

备注：

上图直观的显示了熵与概率之间的关系

当发生的概率为0.5时，熵为最大值1.

当发生的概率为0时，表示100%不发生，熵为最小值0.

当发生的概率为1时，表示100%发生，熵也为最小值0.

备注：(串联序列）

条件熵表明：在通信系统中，由于通信信道存在噪声，信源（发送端）熵与信宿（接收端）的熵不是完全相同的。

信宿的熵与信源熵与信道熵两个因素相关。

比如，即使发送端按照90%的大概率概率发送1或0，由于传输信道有干扰，接收端收到的1或0的概率并非为90%。这就是接收端的条件熵。

备注：（并联）

联合熵是两个不同的信源，比如4G和5G的各个子载波携带的信息之间，就是联合熵，又称为联合信息量。

备注：

无记忆的信源序列的总信源熵是所有单个符号熵的和。

无记忆的信源序列的平均信源熵等于单个符号熵。

备注：

无记忆与有有记忆的区别

• 无记忆是指一连串的串联的符号之间是相互独立的，没有相关性。
• 有记忆是指，后续符号的信息量（概率）与先前已经发送的信号是相关的。

第3部分 离散有记忆信源的测度

备注：

有记忆表示前后1-N个符号之间的相关性，记忆长度越长，整个信源内部的相关性越强。

如果前后符号之间是无关的，则表明该信源系统是随机系统。

有记忆信源的本质：是条件概率，就在前面符号已经发生情况下，当前符号发生的概率。

比如，在Ai发生的情况下，Aj发生的概率。

上表表明：

• 该信源有三种可能的输出符号。
• 表格列出了当前输出Ai， =0,1,2时，下次输出Aj， =0,1,2​​时的概率。
• 当前输出a2，下次输出a0的概率为0
• 当前输出a0，下次输出a2的概率为0
• 也就是所a2和a0不可能相邻输出。

备注：

Ai，Aj的联合概率表示一次输出的符号是2个符号，即符号长度为2。

在4G/5G系统中，就是调制QPSK调制，一次调制两个bit或，通过2个子载波输出两个符号。

在上图中可以看出A0和A2同时（联合）输出的概率为0.

备注：

对于无记忆的信源系统，输出序列的符号之间是相互独立的，因此输出序列的长度是无关的。

对于有记忆的信源系统，后续符号的输出与前序符号的输出是相关的，因此有记忆的信源系统的熵，与序列的长度是强相关的。

极限上用来描述有记忆信源情况下，当输出序列无穷长时，其信息量的大小。

L趋于无穷 ，表示序列的长度是无穷大。

信源的记忆长度越长，后续符号的输出的确定性就越强，后续符号的不确定性就越小。

第4部分 连续信源的数学模型与测度

---

附录

作者主页(文火冰糖的硅基工坊)：https://blog.csdn.net/HiWangWenBing

本文网址：https://blog.csdn.net/HiWangWenBing/article/details/118533692

---