信道容量与香农定理信源编码信道编码总结

Posted 2023-06-10 Asandstar

1 信道容量定义

1.1 信道容量：信道中平均每个符号所能传递的最大互信息量$I(X;Y)$
$C=\\mathopmax\\limits_p(x)I(X;Y)$

单位：bit /符号

1.2 单位时间t内信道容量：$C_t=\\fracCt$
单位：bit/s
1.3 最佳输入概率$p(x)$分布时，传输的信息能达到信道容量
1.4 信道容量反映信道特性，表示信道传送信息的最大能力，是信道传输概率的函数，不同的转移概率对应不同的信道

2 信道编码定理

传送的信息量$R <$信道容量$C$，可以通过编码方法将全部信息几乎无差错传递到接收端，否则有信息损失

正定理：只要信息传输率R小于信道容量C， 总存在一种信道码（及解码器），可用所要求的任意小的差错概率实现可靠通信

逆定理：信道容量C是可靠通信系统信息传输率R的上边界。如果R > C，就不可能有任何一种编码能使差错概率任意小

3 香农信息论的三大定理

• 第一极限定理：无失真信源编码定理
• 第二极限定理：信道编码定理（离散、连续信道）
• 第三极限定理：限失真信源编码定理

3. 1 离散信源的无失真信源编码定理

必存在一种编码方式，使得编码后的平均码长任意接近符号熵【方法：使概率与码长匹配】

3.2 离散或连续信源的限失真信源编码定理

离散无记忆信源X的信息率失真函数为$R(D)$
当信息率$R＞R(D)$，只要信源序列长度L足够长，一定存在一种编码方法，其译码失真小于或等于$D＋\\varepsilon$，$\\varepsilon$为任意小的正数；
反之，若$R＜R(D)$，则无论采用什么样的编码方法，其译码失真必大于$D$。

4 信道参数时变性影响信道容量性质

4.1 信道参数固定→信道容量固定

4.2 信道参数随时间变化→信道容量随信道参数变化而变化

此时用平均信道容量（遍历信道容量）衡量整体性能

中断信道容量：满足传输要求的信道容量下界

 

《信息与编码》考试复习笔记6----第六章连续信源熵和信道容量相关例题

系列文章链接目录

一、《信息与编码》考试复习笔记1----第一章概论
二、《信息与编码》考试复习笔记2----第二章离散信息源
三、《信息与编码》考试复习笔记2----第二章离散信息源相关例题
四、《信息与编码》考试复习笔记3----第三章无失真离散信源编码（重要）
五、《信息与编码》考试复习笔记3----第三章无失真离散信源编码补充例题
六、《信息与编码》考试复习笔记4----第四章离散信道容量
七、《信息与编码》考试复习笔记4----第四章离散信道容量相关例题
八、《信息与编码》考试复习笔记5----第五章纠错编码（难点）
九、《信息与编码》考试复习笔记5----第五章纠错编码相关例题（难点）
十、《信息与编码》考试复习笔记----前五章题目补充
十一、《信息与编码》考试复习笔记5----第五章纠错编码–伴随式纠错译码及标准阵列译码补充（难点）
十二、《信息与编码》考试复习笔记6----第六章连续信源熵和信道容量（考点在连续信道容量）
十三、《信息与编码》考试复习笔记6----第六章连续信源熵和信道容量相关例题
十四、《信息与编码》考试复习笔记7----第七章信息率失真函数（有计算无难度）
十五、《信息与编码》考试复习笔记7----第七章信息率失真函数相关例题

---

文章目录

• 系列文章链接目录
• 第一题
• 第二题
• 总结

---

第一题

第二题

总结

连续信道容量的计算题可能会考，但香农公式相关的概念及结论要记住。