熵——信息增益
Posted 笨拙的忍者
tags:
篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了熵——信息增益相关的知识，希望对你有一定的参考价值。
整理自：https://mp.weixin.qq.com/s/LGyNq3fRlsRSatu1lpFnnw
南大周志华老师的西瓜书—第四章
公式
信息增益是决策树ID3算法在进行特征切割时使用的划分准则，其物理意义和互信息完全相同，并且公式也是完全相同。
其中D表示数据集，A表示特征，信息增益表示得到A的信息而使得类X的不确定度下降的程度，在ID3中，需要选择一个A使得信息增益最大，这样可以使得分类系统进行快速决策。
需要注意的是：在数值上，信息增益和互信息完全相同，但意义不一样，需要区分，当我们说互信息时候，两个随机变量的地位是相同的，可以认为是纯数学工具，不考虑物理意义，当我们说信息增益时候，是把一个变量看成是减少另一个变量不确定度的手段。
计算过程
以色泽属性为例，他有三个可能的取值｛青绿，乌黑，浅白｝，对应｛D1,D2,D3｝
| 青绿 | 乌黑 | 浅白 | |
| 正例 | 3 | 4 | 1 |
| 反例 | 3 | 2 | 4 |
| 总计 | 6 | 6 | 5 |
以上是关于熵——信息增益的主要内容，如果未能解决你的问题，请参考以下文章