信息论-熵-随机变量-泛函

Posted 2020-10-08 捉猫的老鼠

一. 熵的定义：

         原始熵的定义：克劳修斯(T.Clausius) 于1854年提出熵(entropie)的概念, 我国物理学家胡刚复教授于1923年根据热温商之意首次把entropie译为“熵”。熵，热力学中表征物质状态的参量之一，用符号S表示，其物理意义是体系混乱程度的度量。统计热力学: 熵的大小与体系的微观状态Ω有关，即S=klnΩ，其中k为玻尔兹曼常量，k=1.3807x10-23J·K-1。体系微观状态Ω是大量质点的体系经统计规律而得到的热力学概率，因此熵有统计意义，对只有几个、几十或几百分子的体系就无所谓熵。

　　信息熵：1948年，香农提出了“信息熵”的概念，才解决了对信息的量化度量问题。信息熵这个词是C．E．香农从热力学中借用过来的。热力学中的热熵是表示分子状态混乱程度的物理量。香农用信息熵的概念来描述信源的不确定度。信息论之父克劳德·艾尔伍德·香农第一次用数学语言阐明了概率与信息冗余度的关系。C. E. Shannon 在 1948 年发表的论文“通信的数学理论（ A Mathematical Theory of Communication ）”中， Shannon 指出，任何信息都存在冗余，冗余大小与信息中每个符号（数字、字母或单词）的出现概率或者说不确定性有关。

　　离散信号的信息熵：信源的平均不确定性应当为单个符号不确定性-logPi的统计平均值（E），可称为信息熵，即  ，式中对数一般取2为底，单位为比特。但是，也可以取其它对数底，采用其它相应的单位，它们间可用换底公式换算。

　　离散信源的信息熵具有：①非负性，即收到一个信源符号所获得的信息量应为正值，H（U）≥0；②对称性，即对称于P=0．5（③确定性，H（1，0）=0，即P=0或P=1已是确定状态，所得信息量为零；④极值性，当P=0．5时，H（U）最大；而且H（U）是P的上凸函数。

　　变量的不确定性越大，熵也就越大，把它搞清楚所需要的信息量也就越大。信息熵是信息论中用于度量信息量的一个概念。一个系统越是有序，信息熵就越低；反之，一个系统越是混乱，信息熵就越高。所以，信息熵也可以说是系统有序化程度的一个度量。

二. 熵是随机变量U的泛函，仅与U的分布有关。

　　简单的说， 泛函就是定义域是一个函数集，而值域是实数集或者实数集的一个子集，推广开来， 泛函就是从任意的向量空间到标量的映射。也就是说，它是从函数空间到数域的映射。

　　泛函也是一种“函数”，它的独立变量一般不是通常函数的“自变量”，而是通常函数本身。泛函函数的函数。由于函数的值是由自变量的选取而确定的，而泛函的值是由自变量函数确定的，故可以将其理解为函数的函数。泛函的自变量是函数，泛函的自变量称为宗量。

　　简言之，泛函就是函数的函数。