信息量的度量——熵(entropy)
Posted oythonhill
tags:
篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了信息量的度量——熵(entropy)相关的知识,希望对你有一定的参考价值。
引言 (废话)
我们经常说的“信息量太大了”,其中的”信息量“到底如何度量?
Claude Elwood Shannon 借鉴了热力学的概念,把信息中排除了冗余后的平均信息量称为“信息熵”。
这个概念现在看着很简单易懂,但是开创性地提出这样的概念不是容易的事情。
1 Entropy 熵
熵(entropy)可以度量随机变量的不确定性,设X是一个取有限值得离散随机变量,其概率分布为
$P(X=x_i)=p_i, \quad i=1,2,\cdots,n$
则随机变量X的熵定义为
$H(X)=-\sum\limits_{i=1}^{n}{p_i}\log{p_i}$
其中,如果对数以2为底,则熵的单位可以称作bit,由于熵只与X的分布有关,与X的具体取值无关,因此也可以表示为
$H(p)=-\sum\limits_{i=1}^{n}{p_i}\log{p_i}$
2 Information gain 信息增益
- Conditional entropy 条件熵
设有随机变量\((X,Y)\),其联合概率分布为
$P(X=x_i, Y=y_j)=p_{ij}, \quad i=1,2,\cdots,n ; \quad j=1,2,\cdots,m$
条件熵\(H(Y|X)\)可以表示在随机变量\(X\)已知的情况下随机变量\(Y\)的不确定性. 随机变量X给定的条件下随机变量\(Y\)的条件熵(conditional entropy)\(H(Y|X)\),定义为\(X\)给定条件下\(Y\)的条件概率分布的熵对\(X\)的数学期望
$H(Y|X)=\sum\limits_{i=1}^{n}p_iH(Y|X=x_i)$
其中,\(p_i=P(X=x_i),\quad i=1,2,\cdots,n.\)
当熵和条件熵忠的概率由数据估计(特别是极大似然估计)得到时,所对应的熵与条件熵分别称为经验熵(empirical entropy)和经验条件熵(empirical conditional entropy). 此时,如果有0概率,令\(0\log0=0\).
- Information gain 信息增益
信息增益(information gain)表示得知特征X的信息而使得得知类Y的信息的不确定性减少的程度.
特征A对训练数据集D的信息增益\(g(D,A)\),定义为集合D的经验熵\(H(D)\)与特征A给定条件下D的经验条件熵\(H(D|A)\)之差,即
$g(D,A)=H(D)-H(D|A)$
熵\(H(Y)\)与条件熵\(H(Y|X)\)之差也常被称为互信息(mutual information). 决策树学习中的信息增益等价于训练数据集中类与特征的互信息。
3 Information gain ratio 信息增益比
在实际训练模型时,以信息增益作为划分训练数据集的特征,会偏向于选择取值较多的特征. 因此,也常常使用信息增益比来作为准则.
特征A对训练数据集D的信息增益比\(g_R(D,A)\)定义为其信息增益\(g(D,A)\)与训练数据集D关于特征A的值的熵\(H_A(D)\)之比,即
$g_R(D,A)=\frac{g(D,A)}{H_A(D)}$
其中,\(H_A(D)=-\sum\limits_{i=1}^{n}{\frac{|D_i|}{|D|}\log_2{\frac{|D_i|}{|D|}}}\),\(n\)是特征A取值的个数.
以上是关于信息量的度量——熵(entropy)的主要内容,如果未能解决你的问题,请参考以下文章