瑞丽熵(renyi entropy)

Posted yif25

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了瑞丽熵(renyi entropy)相关的知识,希望对你有一定的参考价值。

信息论中Rényi熵是Hartley熵Shannon熵碰撞熵最小熵的推广。熵能量化了系统的多样性,不确定性或随机性。Rényi熵以AlfrédRényi命名。在分形维数估计的背景下,Rényi熵构成了广义维数概念的基础。

Rényi熵在生态学和统计学中是重要的多样性指标。Rényi熵在量子信息中也很重要,它可以用来衡量纠缠。在Heisenberg XY自旋链模型中,作为α的函数的Rényi熵可以由于它是关于模数群的特定子群的自守函数而被明确地计算。在理论计算机科学中,最小熵用于随机抽取器的情况下。

定义:

含参数α的瑞丽熵其中α≥0和α≠1,被定义为

技术分享图片

这里,X是一个具有可能结果的离散随机变量1,2,3,…..,n和相应的概率技术分享图片对于i=1,2,….n,而对数基数为2.如果概率是技术分享图片对全部i=1,…..,n,那么分配的所有瑞丽熵都是相等的:技术分享图片

一般来说,对于所有的离散随机变量X,技术分享图片是一个带有α的非递增函数。

经常可见瑞丽熵和概率向量的p-范数之间的关系:

技术分享图片

在这里,离散的概率分布P=(p1,……..,pn)被解释为一个向量Rn,同时pi≥0和Σpi=1

瑞丽熵中α≥0

特例

哈特利或最大熵:技术分享图片
香农熵:技术分享图片

碰撞熵,有时被称为“Rényi熵”,是指α = 2 的情况,

技术分享图片

其中,XY ^独立同分布的

最小熵:

在极限中 技术分享图片收敛到最小熵 技术分享图片

技术分享图片

参考文献:https://en.wikipedia.org/wiki/R%C3%A9nyi_entropy

以上是关于瑞丽熵(renyi entropy)的主要内容,如果未能解决你的问题,请参考以下文章

信息量的度量——熵(entropy)

pytorch交叉熵损失函数 F.cross_entropy()

最大熵模型 Maximum Entropy Model

x264代码剖析(十七):核心算法之熵编码(Entropy Encoding)

tensorflow中四种不同交叉熵函数tf.nn.softmax_cross_entropy_with_logits()

一个python的计算熵(entropy)的函数