3.决策树学习

Posted jieyi

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了3.决策树学习相关的知识,希望对你有一定的参考价值。

 

决策树:逼近离散值目标函数

技术图片

 

适用问题:离散值分类

选择分类能力最好的属性根节点

度量: 熵

技术图片

 

 正例反例

同属于一类0,正=反 1

技术图片

 

 

 技术图片

 

技术图片

 

 优选偏置,限定偏置

 

过度拟合:随机错误,噪声  数据太少

技术图片

 

 

解决:

尽早停止树增长

修剪:

技术图片

 

 1.错误率降低修剪

技术图片

 

2.规则后修剪 转换成规则

 

合并连续值属性

 定义新属性,区间中值

增益比率

技术图片

 

缺少属性值处理:

直接赋值,概率

 

以上是关于3.决策树学习的主要内容,如果未能解决你的问题,请参考以下文章

机器学习决策树分类原理

机器学习笔记五 决策树

web安全之机器学习入门——3.2 决策树与随机森林算法

一文看懂决策树

《机器学习》第三章 决策树学习 笔记加总结

机器学习回归决策树