信息论绪论

Posted 2023-02-14

本专栏针包含信息论与编码的核心知识，按知识点组织，可作为教学或学习的参考。markdown版本已归档至【Github仓库：​​information-theory​​】，需要的朋友们自取。或者关注公众号【AIShareLab】，回复 信息论 也可获取。

一、信息的基本概念

什么是信息（information)

• 信息:一个既复杂又抽象的概念。
• 广义: 消息、情报、知识
• 技术术语: 计算机处理(通信传输)的对象——数据、文字、记录
• 科学名词: 统计数学、通信技术

• 用严格的数学公式定义的科学名词，它与内容无关，而且不随信息具体表现形式的变化而变化,因而也独立于形式。
• 它反映了信息表达形式中统计方面的性质，是一个统计学上的抽象概念

• 信息是指各个事物运动的状态及状态变化的方式：
  人们从来自对周围世界的观察得到的数据中获得信息。信息是抽象的意识或知识，它是看不见、模不到的。人脑的思维活动产生的一种想法，当它仍储存在脑子中的时候它就是一种信息。

信息、消息和信号

信息

• 信息是通信系统中传输（或存储、处理)的对象，它包含在消息中。
• 是事物运动状态或存在方式的不确定性的描述。（香农信息的定义）

消息

• 是指包含有信息的语言、文字和图像等;
• 消息中载荷有信息，但是同一个信息可以由不同的消息载荷。

信号

• 是消息的物理体现。可以用不同类型的信号，如声、光、电等传递同一个消息。

在通信系统中，实际传输的是信号，但本质内容的是信息。信息包含在信号之中，信号是信息的载体。通信的结果是消除或部分消除不确定性，从而获得信息。

信息的特征

信息的基本概念在于它的不确定性,任何已确定的事物都不含信息。

• 接收者在收到信息之前，对它的内容是不知道的，所以，信息是新知识、新内容;
• 信息是能使认识主体对某一事物的未知性或不确定性减少的有用知识;
• 信息可以产生，也可以消失，同时信息可以被携带、贮存及处理;
• 信息是可以量度的，信息量有多少的差别。

Question：除了上述的信息的特征，信息还有一些其他的特征，请选择下面哪些是信息的特征? (ACD)

A. 信息非负
B. 信息可以是任意值
C. 信息具有可加性
D. 确定消息（事件)的所含信息量为零

解析：信息不可以是任意值。因为信息和任意值没有关联。

信息论

信息论是一门应用概率论、随机过程、数理统计和近代代数的方法，来研究信息传输、提取和处理系统中一般规律的学科，被称为“通信的数学理论”。

信息论是在信息可以量度的基础上, 研究有效地和可靠地传递信息的科学,它涉及信息量度、信息特性、信息传输速率、信道容量、干扰对信息传输的影响等方面的知识。

二、信息论研究的内容

狭义信息论

主要研究信息的测度、信道容量以及信源和信道编码理论等问题。

一般信息论

主要也是研究信息传输和处理问题，除香农信息论，还包括噪声理论、信号滤波和预测、统计检测和估计、调制理论、信息处理理论以及保密理论等。

广义信息论

不仅包括上述两方面内容，而且包括所有与信息有关的自然和社会领域，如模式识别、计算机翻译、心理学、遗传学、神经生理学、语言学、语义学甚至包括社会学中有关信息的问题

信息论研究的内容

1、通信的统计理论研究

主要研究利用统计数学工具分析信息和信息传输的统计规律。其具体内容有:

• 信息的测度;
• 信息速率与嫡;
• 信道传输能力——信道容量。

2、信源的统计特性

• 文字(如汉字)、字母(如英文)的统计特性;
• 语音的参数分析和统计特件;
• 图片及活动图像(电视)的统计特性;
• 其他信源的统计特性。

3、编码理论与技术的研究

• 有效性编码:
  提高信息传输的有效率，主要针对信源的统计特性进行编码，也称信源编码。
• 抗干扰编码:
  提高信息传输的可靠性，主要针对信道统的计特性进行编码; 也称信道编码。

4、提高信息传输效率的研究

• 功率的节约;
• 频带的压缩;
• 传输时间的缩短，即快速传输问题。

5、抗干扰理论与技术的研究

• 各种调制制式的抗干扰性;
• 理想接收机的实现

6、噪声中信号检测理论与技术的研究

• 信号检测的最佳准则;
• 信号最佳检测的实现。

三、信息论发展历程&香农

“通信的基本问题就是在一点重新准确地或近似地再现另一点所选择的消息”。这是数学家香农(Claude E.Shanon)在他的惊世之著《通信的数学理论》中的一句铭言。

香农应用数理统计的方法来研究通信系统，从而创立了影响深远的信息论。香农因此成为信息论的奠基人。

香农，1816年生于美国密执安州的加洛德。在大学中他就表现出了对数理问题的高度敏感。他的硕士论文就是关于布尔代数在逻辑开关理论中的应用。后来,他就职于贝尔电话研究所,在这个世界上最大的通信公司(美国电话电报公司)的研究基地里,他受着前辈的工作的启示,其中最具代表性的是《贝尔系统技术杂志》上所披露的奈奎斯特的《影响电报速率的一些因素》和哈特莱的《信息的传输》。正是他们最早研究了通信系统的信息传输能力，第一次提出了信息量的概念,并试图用教学公式予以描述。香农则创造性地继承了他们的事业,在信息论的领域中钻研了8年之久,终于在1948年也在《贝尔系统技术杂志》上发表了244页的长篇论著《通信的数学理论》。次年,他又在同一杂志上发表了另一篇名著《噪声下的通信》。

在这两篇文章中, 香农解决了过去许多悬而未决的问题: **经典地阐明了通信的基本问题，提出了通信系统的模型，给出了信息量的数学表达式，解决了信道容量、信源统计特性、信源编码、信道编码等有关精确地传送通信符号的基本技术问题。**两篇文章成了现在信息论的奠基著作。

参考文献：

1. Proakis, John G., et al. Communication systems engineering. Vol. 2. New Jersey: Prentice Hall, 1994.
2. Proakis, John G., et al. SOLUTIONS MANUAL Communication Systems Engineering. Vol. 2. New Jersey: Prentice Hall, 1994.
3. 周炯槃. 通信原理（第3版）[M\\]. 北京：北京邮电大学出版社, 2008.
4. 樊昌信, 曹丽娜. 通信原理（第7版） [M\\]. 北京：国防工业出版社, 2012.

---

欢迎关注公众号【AIShareLab】，一起交流更多相关知识，前沿算法，Paper解读，项目源码，面经总结。