决策树中的特征重要性、离散化和标准
Posted
技术标签:
【中文标题】决策树中的特征重要性、离散化和标准【英文标题】：Feature importances, discretization and criterion in decision trees 【发布时间】：2015-08-13 23:47:12 【问题描述】：我正在处理数字特征，我想在 sklearn 中使用决策树分类器来查找特征重要性。
所以，如果我选择熵标准进行分割，信息增益被用作分割数据的杂质度量。我猜这相当于 Fayyad & Irani 二进制离散化。
最后，分类器返回一个名为“特征重要性”的属性。
特征重要性。越高，特征越重要。 特征的重要性被计算为（归一化的）总 降低该特征带来的标准。这也是众所周知的 作为基尼系数 [R195]。
我的问题是，即使我使用信息增益来找到最佳分割，“特征重要性”是否会返回在使用熵标准找到的分割中测量的基尼重要性值？
【问题讨论】：
【参考方案1】：是的！有一种迭代方法来计算不同分裂点的基尼重要性，一旦达到终止标准（最小描述长度），就会返回最佳分裂点。您可以在此处通过玩具示例找到更多信息：http://clear-lines.com/blog/post/Discretizing-a-continuous-variable-using-Entropy.aspx
【讨论】：
以上是关于决策树中的特征重要性、离散化和标准的主要内容，如果未能解决你的问题，请参考以下文章