《信息与编码》考试复习笔记3----第三章无失真离散信源编码（重要）

Posted 2021-06-03 遗忘丶

系列文章链接目录

一、《信息与编码》考试复习笔记1----第一章概论
二、《信息与编码》考试复习笔记2----第二章离散信息源
三、《信息与编码》考试复习笔记2----第二章离散信息源相关例题
四、《信息与编码》考试复习笔记3----第三章无失真离散信源编码（重要）
五、《信息与编码》考试复习笔记3----第三章无失真离散信源编码补充例题
六、《信息与编码》考试复习笔记4----第四章离散信道容量
七、《信息与编码》考试复习笔记4----第四章离散信道容量相关例题
八、《信息与编码》考试复习笔记5----第五章纠错编码（难点）
九、《信息与编码》考试复习笔记5----第五章纠错编码相关例题（难点）
十、《信息与编码》考试复习笔记----前五章题目补充
十一、《信息与编码》考试复习笔记5----第五章纠错编码–伴随式纠错译码及标准阵列译码补充（难点）
十二、《信息与编码》考试复习笔记6----第六章连续信源熵和信道容量（考点在连续信道容量）
十三、《信息与编码》考试复习笔记6----第六章连续信源熵和信道容量相关例题
十四、《信息与编码》考试复习笔记7----第七章信息率失真函数（有计算无难度）
十五、《信息与编码》考试复习笔记7----第七章信息率失真函数相关例题

---

文章目录

• 系列文章链接目录
• 前言
• 一、定长编码定理
• 二、变长编码定理
• 三、香农编码（重要）
• • 3.1 香农编码编码步骤
  • 3.2 香农编码例题
• 四、费诺编码（重要）
• • 4.1 费诺编码编码步骤
  • 4.2 费诺编码例题
  • • 4.2.1 费诺编码例题一
    • 4.2.2 费诺编码例题二
• 五、哈夫曼编码（重要）
• • 5.1 哈夫曼编码编码步骤
  • 5.2 哈夫曼编码例题
  • • 5.2.1 哈夫曼编码例题一
    • 5.2.2 哈夫曼编码例题二
• 总结

---

前言

这门课复习的时候有点学不进去，打算以此记录复习过程，也算加深一下印象，与大家一起学习。

本章的复习重点主要在香农编码、费诺编码和赫夫曼编码三种编码方式及相关计算。

一、定长编码定理

定长编码定理可以简单的记忆为：
信息率R=(K/L) log₂m，可以理解为只要R≥H(X)则可以实现无失真编码。反之亦然。

定长编码定理告诉我们：
只要码字传输的信息量大于信源携带的信息量，总可实现几乎无失真编码。

二、变长编码定理

三、香农编码（重要）

3.1 香农编码编码步骤

3.2 香农编码例题

四、费诺编码（重要）

4.1 费诺编码编码步骤

4.2 费诺编码例题

4.2.1 费诺编码例题一

4.2.2 费诺编码例题二

五、哈夫曼编码（重要）

5.1 哈夫曼编码编码步骤

5.2 哈夫曼编码例题

5.2.1 哈夫曼编码例题一

5.2.2 哈夫曼编码例题二

这一题因为是编三进制码，需要多一步处理，即分析第一步需要对几个符号进行编码，看这道例题就可以看懂了。


这一题编码效率结果错了，应该是95.3%。

总结

第三章难点在于熟练掌握三种编码方式的编码步骤，并能计算出平均码长及编码效率，三种编码方式光看步骤晦涩难懂，需要多做题方可参透：）