机器学习-决策树

Posted 2021-12-12 21座的胖子

决策树

既可以做分类也可以做回归

分类

以树的方式实现分类的结果，每个决策结点实现一个分类的函数，每个叶子结点表示分类结果。

熵/基尼系数（Gini）

熵代表了物体内部的混乱程度，数据越复杂，熵越大。

构造决策树

构造决策树的思路是随着深度加深，结点的熵迅速降低，降低得越快越好，这样可以得到一棵最矮的决策树。

算法

ID3：信息增益
C4.5：信息增益率