Part I/ Chapter 3 信息论

Posted rainton-z

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了Part I/ Chapter 3 信息论相关的知识,希望对你有一定的参考价值。

信息论:对一个信号包含信息的多少进行量化。其基本想法是:一个不太可能的事件居然发生了,要比一个非常可能的事件发生,能提供更多的信息。

一、根据信息论的基本想法来量化信息,会有:

  1、非常可能发生的事件信息量要比较少,并且极端情况下,确保能够发生的事件应该没有信息量。

  2、较不可能发生的事件具有更高的信息量。

  3、独立事件应具有增量的信息,例如投掷两次硬币两次正面朝上传递的信息量应该是投掷一次硬币正面朝上的信息量的两倍。

二、自信息量与香农熵。

三、KL散度:

  1、定义:若同一个随机变量x有两个单独的概率分布P(x)和Q(x),我们可以用KL散度衡量两个分布的差异:DKL(P||Q)=Ex~P[logP(x)-logQ(x)]

  2、目的:衡量当我们使用一种被设计成能够使得概率分布Q产生的消息的长度最小的编码,发送包含由概率分布P产生的符号的消息时,所需要的额外信息量。

  3、交叉熵:H(P,Q)=H(P)+DKL(P||Q)=-Ex~P[logQ(x)]

 

以上是关于Part I/ Chapter 3 信息论的主要内容,如果未能解决你的问题,请参考以下文章

Part I/ Chapter 3 概率论&结构化概率模型

Part I/ Chapter 5 机器学习基础1

Part I/ Chapter 2 线性代数基础2 实例:PCA

Python Chapter 10: 列表 Part3

Python Chapter 9: 使用Tkinter进行GUI程序设计 Part 3

CSAPP读书笔记:Chapter I