决策树中的特征重要性、离散化和标准

Posted

技术标签:

【中文标题】决策树中的特征重要性、离散化和标准【英文标题】:Feature importances, discretization and criterion in decision trees 【发布时间】:2015-08-13 23:47:12 【问题描述】:

我正在处理数字特征,我想在 sklearn 中使用决策树分类器来查找特征重要性。

所以,如果我选择熵标准进行分割,信息增益被用作分割数据的杂质度量。我猜这相当于 Fayyad & Irani 二进制离散化。

最后,分类器返回一个名为“特征重要性”的属性。

特征重要性。越高,特征越重要。 特征的重要性被计算为(归一化的)总 降低该特征带来的标准。这也是众所周知的 作为基尼系数 [R195]。

我的问题是,即使我使用信息增益来找到最佳分割,“特征重要性”是否会返回在使用熵标准找到的分割中测量的基尼重要性值?

【问题讨论】:

【参考方案1】:

是的!有一种迭代方法来计算不同分裂点的基尼重要性,一旦达到终止标准(最小描述长度),就会返回最佳分裂点。您可以在此处通过玩具示例找到更多信息:http://clear-lines.com/blog/post/Discretizing-a-continuous-variable-using-Entropy.aspx

【讨论】:

以上是关于决策树中的特征重要性、离散化和标准的主要内容,如果未能解决你的问题,请参考以下文章

连续型特征的归一化和离散特征的one-hot编码

特征工程之特征表达

特征工程之特征表达

POJ 2528 Mayor's posters 离散化和线段树题解

连续特征离散化

特征工程