4决策树算法

Posted zglbt

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了4决策树算法相关的知识,希望对你有一定的参考价值。

1、认识决策树:

      决策树思想非常朴素,程序设计中的条件就是if-then结构,最早的决策树就是利用这类结构分割数据的一中分类学习方法。

 

2、信息论基础-银行贷款分析

      香农在1948年提出信息论,单位为比特;

      信息熵:可以理解为代价;信息和消除不确定性是相联系的;

      信息增益:当得知特征x的信息而使得类y的信息的不确定性减小的程度,

                        公式:g(D,A)=H(D)- H(D | A)

                     技术分享图片

 

3、决策树的生成

      1)决策树的分类依据:信息增益、ID3、C4.5、CART、基尼系数(划分更仔细)

 

4、决策树的优点

      1)简单的理解和解释,树木可视化;

      2)需要很少的数据准备、其他技术通常需要数据归一化;

 

5、决策树的缺点

      1)决策树学习可以创建不能很好推广的数据过于复杂的树,这种也被称为过拟合。

 

6、改进:

      1)剪枝算法Cart;

      2)随机森林;

以上是关于4决策树算法的主要内容,如果未能解决你的问题,请参考以下文章

5-4 决策树 C4.5决策树的生成算法

实验四 决策树算法及应用

决策树算法原理(下)

4决策树算法

史诗级干货长文决策树算法

决策树之CART算法