决策树

Posted

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了决策树相关的知识,希望对你有一定的参考价值。

树的节点将要预测的空间划分为一系列简单域,划分预测空间的规则可以被建模为一棵树,所以这种方法也叫决策树方法。

bagging,随机森林,boosting 是多棵决策树组合起来采用投票方式产生一个预测结果的方法。

以树为基础的方法可以用于回归和分类。

 

回归树:

输出是一个实数,如房子的价格等。

回归树是将特征空间划分为若干个区域,在每个区域里进行预测。假设被分为了M个部分,$C_m$是第m个部分的值。

预测值 $y =  \sum_{m=1}^M C_m I(x \in R_m)$

 

 

分类树:

 

以上是关于决策树的主要内容,如果未能解决你的问题,请参考以下文章

决策树算法总结

决策树算法

决策树算法

决策树结构

【理论篇】决策树剪枝策略

决策树特征重要性