机器学习-决策树

Posted 2020-08-09 BelFuture

一.简介

　　决策树学习是一种逼近离散值目标函数的方法，在这种方法中学习到的函数被表示为一棵决策树。

二.决策树的表示法

　　决策树通过把实例从艮节点排列到某个叶子结点来分类实例，叶子结点即为实例所属的分类。树上的每一个结点指定了对实例的某个属性的测试，并且该结点的每一个后继分支对应于该属性的一个可能值。分类实例的方法是从这棵树的根节点开始，测试这个结点的属性，然后按照给定实例的属性值对应的树枝向下移动。然后这个过程在以新结点的根的子树上重复。

决策树对应表达式：

三. 举例

1. 首先计算四个属性的信息增益：
2. Gain(S,Outlook)=0.246

          Gain(S,Humidity)=0.151

          Gain(S,Wind)=0.048

          Gain(S,Temperature)=0.029

      根据信息增益标准，属性Outlook在训练样例上提供了对目标属性PlayTennis的最佳预测。

        S_sunny ={D1,D2,D8,D9,D11}

        Gain(S_sunny,Humidity)=0.970-(3/5)0.0-(2/5)0.0=0.970

        Gain(S_sunny, Temperature)=0.970-(2/5)1.0-(2/5)1.0-(1/5)0.0=0.570

        Gain(S_sunny ,Wind)=0.970-(2/5)1.0-(3/5)0.918=0.019