决策树算法

Posted 2020-10-26 上帝不玩骰子

tags:

篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了决策树算法相关的知识，希望对你有一定的参考价值。

　决策树算法在机器学习中算是很经典的一个算法系列了。它既可以作为分类算法，也可以作为回归算法，同时也特别适合集成学习比如随机森林。本文就对决策树算法原理做一个总结，上篇对ID3， C4.5的算法思想做了总结，下篇重点对CART算法做一个详细的介绍。选择CART做重点介绍的原因是scikit-learn使用了优化版的CART算法作为其决策树算法的实现。

1. 决策树ID3算法的信息论基础

　　　　机器学习算法其实很古老，作为一个码农经常会不停的敲if, else if, else,其实就已经在用到决策树的思想了。只是你有没有想过，有这么多条件，用哪个条件特征先做if，哪个条件特征后做if比较优呢？怎么准确的定量选择这个标准就是决策树机器学习算法的关键了。1970年代，一个叫昆兰的大牛找到了用信息论中的熵来度量决策树的决策选择过程，方法一出，它的简洁和高效就引起了轰动，昆兰把这个算法叫做ID3。下面我们就看看ID3算法是怎么选择特征的。

　　　　首先，我们需要熟悉信息论中熵的概念。熵度量了事物的不确定性，越不确定的事物，它的熵就越大。具体的，随机变量X的熵的表达式如下：

H (X) = - \sum i = 1 n p i l o g p i

　　　　其中n代表X的n种不同的离散取值。而 $p_{i}$

　　　　熟悉了一个变量X的熵，很容易推广到多个个变量的联合熵，这里给出两个变量X和Y的联合熵表达式：

H (X, Y) = - \sum i = 1 n p (x i, y i) l o g p (x i, y i)

　　　　有了联合熵，又可以得到条件熵的表达式H(X|Y)，条件熵类似于条件概率,它度量了我们的X在知道Y以后剩下的不确定性。表达式如下：

H (X | Y) = - \sum i = 1 n p (x i, y i) l o g p (x i | y i) =

　　　　好吧，绕了一大圈，终于可以重新回到ID3算法了。我们刚才提到H(X)度量了X的不确定性，条件熵H(X|Y)度量了我们在知道Y以后X剩下的不确定性，那么H(X)-H(X|Y)呢？从上面的描述大家可以看出，它度量了X在知道Y以后不确定性减少程度，这个度量我们在信息论中称为互信息，，记为I(X,Y)。在决策树ID3算法中叫做信息增益。ID3算法就是用信息增益来判断当前节点应该用什么特征来构建决策树。信息增益大，则越适合用来分类。

　　　　上面一堆概念，大家估计比较晕，用下面这个图很容易明白他们的关系。左边的椭圆代表H(X),右边的椭圆代表H(Y),中间重合的部分就是我们的互信息或者信息增益I(X,Y), 左边的椭圆去掉重合部分就是H(X|Y),右边的椭圆去掉重合部分就是H(Y|X)。两个椭圆的并就是H(X,Y)。

2. 决策树ID3算法的思路

　　　　上面提到ID3算法就是用信息增益大小来判断当前节点应该用什么特征来构建决策树，用计算出的信息增益最大的特征来建立决策树的当前节点。这里我们举一个信息增益计算的具体的例子。比如我们有15个样本D，输出为0或者1。其中有9个输出为1， 6个输出为0。样本中有个特征A，取值为A1，A2和A3。在取值为A1的样本的输出中，有3个输出为1， 2个输出为0，取值为A2的样本输出中,2个输出为1,3个输出为0，在取值为A3的样本中，4个输出为1，1个输出为0.

　　　　样本D的熵为： $H (D) = - (\frac{9}{15} l o g_{2} \frac{9}{15} + \frac{6}{15} l o g_{2} \frac{6}{15}) = 0.971$

　　　　样本D在特征下的条件熵为： $H (D | A) = \frac{5}{15} H (D 1) + \frac{5}{15} H (D 2) + \frac{5}{15} H (D 3)$

　　　　 $= - \frac{5}{15} (\frac{3}{5} l o g_{2} \frac{3}{5} + \frac{2}{5} l o g_{2} \frac{2}{5}) - \frac{5}{15} (\frac{2}{5} l o g_{2} \frac{2}{5} + \frac{3}{5} l o g_{2} \frac{3}{5}) - \frac{5}{15} (\frac{4}{5} l o g_{2} \frac{4}{5} + \frac{1}{5} l o g_{2} \frac{1}{5}) = 0.888$

　　　　对应的信息增益为 $I (D, A) = H (D) - H (D | A) = 0.083$

　　　　下面我们看看具体算法过程大概是怎么样的。

　　　　输入的是m个样本，样本输出集合为D，每个样本有n个离散特征，特征集合即为A，输出为决策树T。

　　　　算法的过程为：

　　　　1)初始化信息增益的阈值 $ϵ$

　　　　2）判断样本是否为同一类输出 $D_{i}$

　　　　3) 判断特征是否为空，如果是则返回单节点树T，标记类别为样本中输出类别D实例数最多的类别。

　　　　4）计算A中的各个特征（一共n个）对输出D的信息增益，选择信息增益最大的特征 $A_{g}$

　　　　5) 如果 $A_{g}$

　　　　6）否则，按特征 $A_{g}$

　　　　7）对于所有的子节点，令 $D = D_{i}, A = A - {A_{g}}$

3. 决策树ID3算法的不足

　　　　ID3算法虽然提出了新思路，但是还是有很多值得改进的地方。　　

　　　　a)ID3没有考虑连续特征，比如长度，密度都是连续值，无法在ID3运用。这大大限制了ID3的用途。

　　　　b)ID3采用信息增益大的特征优先建立决策树的节点。很快就被人发现，在相同条件下，取值比较多的特征比取值少的特征信息增益大。比如一个变量有2个值，各为1/2，另一个变量为3个值，各为1/3，其实他们都是完全不确定的变量，但是取3个值的比取2个值的信息增益大。如果校正这个问题呢？

　　　　c) ID3算法对于缺失值的情况没有做考虑

　　　　d) 没有考虑过拟合的问题

　　　　ID3 算法的作者昆兰基于上述不足，对ID3算法做了改进，这就是C4.5算法，也许你会问，为什么不叫ID4，ID5之类的名字呢?那是因为决策树太火爆，他的ID3一出来，别人二次创新，很快就占了ID4， ID5，所以他另辟蹊径，取名C4.0算法，后来的进化版为C4.5算法。下面我们就来聊下C4.5算法

4. 决策树C4.5算法的改进

　　　　上一节我们讲到ID3算法有四个主要的不足，一是不能处理连续特征，第二个就是用信息增益作为标准容易偏向于取值较多的特征，最后两个是缺失值处理的问和过拟合问题。昆兰在C4.5算法中改进了上述4个问题。

　　　　对于第一个问题，不能处理连续特征， C4.5的思路是将连续的特征离散化。比如m个样本的连续特征A有m个，从小到大排列为 $a_{1}, a_{2}, . . ., a_{m}$

　　　　对于第二个问题，信息增益作为标准容易偏向于取值较多的特征的问题。我们引入一个信息增益比的变量 $I_{R} (X, Y)$

I R (D, A) = I ( A , D ) H A ( D )

　　　　其中D为样本特征输出的集合，A为样本特征，对于特征熵 $H_{A} (D)$

H A (D) = - \sum i = 1 n | D i | | D | l o g 2

　　　　其中n为特征A的类别数， $D_{i}$

　　　　特征数越多的特征对应的特征熵越大，它作为分母，可以校正信息增益容易偏向于取值较多的特征的问题。

　　　　对于第三个缺失值处理的问题，主要需要解决的是两个问题，一是在样本某些特征缺失的情况下选择划分的属性，二是选定了划分属性，对于在该属性上缺失特征的样本的处理。

　　　　对于第一个子问题，对于某一个有缺失特征值的特征A。C4.5的思路是将数据分成两部分，对每个样本设置一个权重（初始可以都为1），然后划分数据，一部分是有特征值A的数据D1，另一部分是没有特征A的数据D2. 然后对于没有缺失特征A的数据集D1来和对应的A特征的各个特征值一起计算加权重后的信息增益比，最后乘上一个系数，这个系数是无特征A缺失的样本加权后所占加权总样本的比例。

　　　　对于第二个子问题，可以将缺失特征的样本同时划分入所有的子节点，不过将

以上是关于决策树算法的主要内容，如果未能解决你的问题，请参考以下文章

鸢尾花决策树算法选题的目的和意义

决策树算法 CART和C4.5决策树有啥区别？各用于啥领域？