[信息论与编码理论专题-1]：绪论

Posted 2021-07-31 文火冰糖的硅基工坊

作者主页(文火冰糖的硅基工坊)：https://blog.csdn.net/HiWangWenBing

本文网址：https://blog.csdn.net/HiWangWenBing/article/details/118525448

---

目录

前言：

第1部分 信息论研究对象与研究方法

第2部分 信息论主要研究的内容

第3部分 香农对信息的定义

第4部分 香农的大师风范

---

前言：

为什么要学这门课？

• 信息论为通信系统进行了建模
• 信息论为物理层编码进行了建模

第1部分 信息论研究对象与研究方法

备注：

收到信息的过程就是消除不确定的过程，

收到信息的过程就是不确定性逐步转为确定性的过程。

备注：

什么是通信？就是传输信息的过程！

信息通过有干扰信道，因此需要对信息进行信道编码，以获得稳定、可靠的信息的传输。

可靠性：尽可能正确的传输信息

有效性：尽可能少的比特传输尽可能多的传输信息

保密性：尽可能安全的传输信息

认证性：尽可能保障信息的完整性

信息论研究的事：用数学的方式得到上述的目的！！！

第2部分 信息论主要研究的内容

• 信源编码 =》 有效性：尽可能少的比特传输尽可能多的传输信息
• 加密=》保密性：尽可能安全的传输信息
• 信道编码 =》 可靠性：尽可能正确的传输信息 （通过增加冗余信息）
• 解密 =》 认证性：尽可能保障信息的完整性
• 信道容量：信道的最大能够传输的信息。

第3部分 香农对信息的定义

备注：

信息：就是消除的那部分不确定性。

不确定越多，信息量越大。

越是确定性的事件，信息量越小。

备注：

• 必然事件，或者说概率为1的信息量为0。

第4部分 香农的大师风范

克劳德·艾尔伍德·香农（Claude Elwood Shannon ，

1916年4月30日—2001年2月24日）是美国数学家、信息论的创始人。

1936年获得密歇根大学学士学位 [1]  。

1940年在麻省理工学院获得硕士和博士学位，

1941年进入贝尔实验室工作。香农提出了信息熵的概念，为信息论和数字通信奠定了基础。主要论文有：

1938年的硕士论文《继电器与开关电路的符号分析》，

1948年的《通讯的数学原理》

1949年的《噪声下的通信》。

克劳德·艾尔伍德·香农（Claude Elwood Shannon，1916-2001）

1916年4月30日诞生于美国密西根州的Petoskey。在Gaylord小镇长大，当时镇里只有三千居民。父亲是该镇的法官，他们父子的姓名完全相同，都是Claude Elwood Shannon。

母亲是镇里的中学校长，姓名是Mabel Wolf Shannon。他生长在一个有良好教育的环境，不过父母给他的科学影响好像还不如祖父的影响大。

香农的祖父是一位农场主兼发明家，发明过洗衣机和许多农业机械，这对香农的影响比较直接。

此外，香农的家庭与大发明家爱迪生（Thomas Alva Edison，1847-1931）还有远亲关系。

香农的大部分时间是在贝尔实验室和MIT（麻省理工学院）度过的。

在“功成名就”后，香农与玛丽（Mary Elizabeth Moore）1949年3月27日结婚，他们是在贝尔实验室相识的，玛丽当时是数据分析员。他们共有四个孩子：三个儿子罗伯特（Robert）、詹姆斯（James）、安德鲁莫瑞（Andrew Moore）和一个女儿Margarita Catherine。后来身边还有两个可爱的孙女。

---

附录：

作者主页(文火冰糖的硅基工坊)：https://blog.csdn.net/HiWangWenBing

本文网址：https://blog.csdn.net/HiWangWenBing/article/details/118525448