李航统计学习方法(第二版)：决策树CART算法

Posted 2021-02-21 qiu-hua

1 简介

1.1 介绍

 

 

 

1.2 生成步骤

CART树算法由以下两步组成:
(1)决策树生成:基于训练数据集生成决策树，生成的决策树要尽量大;
(2)决策树剪枝:用验证数据集对己生成的树进行剪枝并选择最优子树，这时用损失函数址小作为剪枝的标准。

2 算法

2.1 回归树

对回归树用平方误差最小化准则，生成二叉树。

2.1.1 回归树生成

 

 

 

 

 

 

 

 

 

 

 

 

 

2.2 分类树

对分类树用基尼指数(Gini imlex)最小化准则，进行特征选择，生成二叉树。

2.2.1 分类树生成

 

 

 

 

 

 

 

 

 

 

2.3 剪枝

CART剪枝算法由两步组成:

首先从生成算法产生的决策树底端开始不断剪枝，直到的根结点，形成一个子树序列

然后通过交叉验证法在独立的验证数据集上对子树序列进行测试，从中选择最优子树。
2.3.1 流程一 剪枝，形成一个子树序列

 

 

 

 

 

 2.3.2 最优子树

 

 2.3.3 剪枝最终算法