决策树贪心算法正确吗?

Posted 出尘呢

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了决策树贪心算法正确吗?相关的知识,希望对你有一定的参考价值。

问题定义:
按照信息增益大的贪心思想,构建的树能不能保证最小?

答:
不能

举例子:

物品: a b c d e f g h
类别: 1 1 1 1 0 0 0 0
特征1: 1 1 0 0 1 0 0 0
特征2: 1 1 0 0 1 1 0 0
特征3: 0 0 1 1 0 0 1 1

按照贪心,应该选特征1做分裂,信息增益最大,但是这样子树要三层。
但是特征2+特征3才是最小的树,只要两层。

以上是关于决策树贪心算法正确吗?的主要内容,如果未能解决你的问题,请参考以下文章

5-5 决策树的剪枝算法

5-5 决策树的剪枝算法

部分背包问题的贪心算法正确性证明

[梁山好汉说IT] 熵的概念 & 决策树ID3如何选择子树

基于python的决策树能进行多分类吗

《机器学习技法》---CART算法