Mutual Information

Posted 2021-05-26 猫七的blog

介绍

当你有面对一大堆特征手无足措的时候，这时候你应该先考虑生成一个特征效用度量：

特征效用度量又叫互信息，互信息与相关系数类似，都是衡量两个数值的关系的，但区别是相关系数只能检测线性关系，而互信息可以检测任何一种关系。

用法：

当互信息等于0时，数值之间是没有关系的。不设上限，然而大于2.0的互信息一般不是很常见。

注意点：

mi（互信息）能帮助你找到对target（结果）具有潜在关系的特征。

mi无法找到两个特征之间的影响程度，原因是他是单变量度量。

即便特征mi很高，但也有可能对模型一点作用没有，因为模型学习的是跟结果有关的特征的关系。