决策树中的特征重要性、离散化和标准
Posted
技术标签:
【中文标题】决策树中的特征重要性、离散化和标准【英文标题】:Feature importances, discretization and criterion in decision trees 【发布时间】:2015-08-13 23:47:12 【问题描述】:我正在处理数字特征,我想在 sklearn 中使用决策树分类器来查找特征重要性。
所以,如果我选择熵标准进行分割,信息增益被用作分割数据的杂质度量。我猜这相当于 Fayyad & Irani 二进制离散化。
最后,分类器返回一个名为“特征重要性”的属性。
特征重要性。越高,特征越重要。 特征的重要性被计算为(归一化的)总 降低该特征带来的标准。这也是众所周知的 作为基尼系数 [R195]。
我的问题是,即使我使用信息增益来找到最佳分割,“特征重要性”是否会返回在使用熵标准找到的分割中测量的基尼重要性值?
【问题讨论】:
【参考方案1】:是的!有一种迭代方法来计算不同分裂点的基尼重要性,一旦达到终止标准(最小描述长度),就会返回最佳分裂点。您可以在此处通过玩具示例找到更多信息:http://clear-lines.com/blog/post/Discretizing-a-continuous-variable-using-Entropy.aspx
【讨论】:
以上是关于决策树中的特征重要性、离散化和标准的主要内容,如果未能解决你的问题,请参考以下文章