MIC笔记

Posted 2020-09-30

特征：

1. Generality普遍性：MIC能够广泛地识别各种关联关系

2. Equitability均匀性：MIC能够均匀地衡量各种关联关系

背景知识：

1. Pearson product-moment correlation coefficien皮尔逊系数：用来衡量线性相关关系

2. Spearman‘s rank correlation coefficient死皮尔逊系数：可以在一定程度上反映非线性相关关系

3. coefficient of determinationke可决系数：可决系数是拟合优度的统计量，反映模型对数据的拟合程度

直观定义：

1. 两个变量之间存在的任何可能的关系，都应该能在一个对其散点图的网格划分中反映出来

计算方法：

1. 用不同分辨率的网格划分散点图，并使网格划分所取得的互信息尽可能地大

• • 如何计算不同网格划分下的互信息？

2. 对各分辨率下的划分进行变换统一，使它们之间具有可比性。取其中最高值作为MIC

3. 网格划分中xy的最大值为B，B根据经验取值为数据集大小n的0.6次方

主要性质：

• MIC在以下情况下会趋近于1：

1. 数据集存在有噪声的关联关系，但样本容量足够大

2. 数据中存在任意的无噪声的关联关系

• • 对 “关联关系”的定义：

• MIC在以下情况下会趋近于0：

• • 统计的两个变量是独立变量

进阶拓展：

• 由规范化互信息得到的特征矩阵可以用来识别关联类型

• 由特征矩阵中最大不对称分数定义的MAS可用来判断关联关系的单调性，进一步可用来探究周期关联关系的变化频率

• 用p代指皮尔逊系数，则MIC-p^2可以用来探索新的非线性关联关系

实现方法：