决策树算法——处理一些特殊的分类

Posted 2020-10-11 wyu123

在之前的决策树算法中我们已经讲解了从数据集构造决策树算法的功能模块。

首先是创建数据集，然后计算香农熵，然后基于最好的属性值划分数据集，由于特征值可能多于两个，因此可能存在大于两个分支的数据集划分。第一次划分好之后，数据将被向下传递到树分支的一个节点，在这个节点上我们可以再次划分数据，所以我们可以采用递归的原则处理数据集。

递归的结束条件是：遍历完所有划分的数据集的属性，或者每个分支下的所有实例都具有相同的分类。如果所有实例具有相同的分类，则得到一格叶子节点或者终止块。

根据特征来划分属性，我们知道每划分一次分类就会消耗一格特征值，如果我们使用完所有的特征但是类别还没有划分完那么我们就采用多数表决的方法来确定叶子节点。

比如说我们使用完所有的特征值之后划分，得到的最后的数据集是下面这个样子的：
[[‘yes’],[‘yes’],[‘maybe’]]

但是我们现在已经没有特征值了，那么我们就不能用计算香农熵的方法计算最大信息增益，这个时候就用投票表决的方式来分类。

那么我们发现 我们的数据集中 ‘yes’是两个，’maybe’是一个那么我们就按照这个来把它们分开。
下面我们来完成代码：

def majorityCnt(classList): # 传入的参数是已经划分完所有特征之后剩余的数据集，
#例如[[‘yes‘],[‘yes‘],[‘maybe‘]]
    classCount={} #参数是已经划分完所有特征之后剩余的数据集，
    #例如[[‘yes‘],[‘yes‘],[‘maybe‘]]
    classCount={} #创建一个字典
    for vote in classList:  
        if vote not in classCount.keys():
            classCount[vote] = 0
        classCount[vote] += 1
        # 根据上述的语句，以及我们的例子，我们最终可以得到的结果如下： {‘yes‘:2,‘maybe‘:1}
        sortedClassCount = sorted(classCount.iteritems(), key=operator.itemgetter(1),reverse=True)#这个语句比较复杂，我们在下面详细讲解一下。
# 使用字典iteritems
    return sortedClassCount[0][0]

下面我们来分析在这段代码中比较复杂的代码：

sorted(classCount.iteritems(), key=operator.itemgetter(1),reverse=True)

在这里我们使用iteritems()这个函数得到我们字典中的所有元素，就是一组一组的键-值对。
之后我们定义一个叫做key的函数，这个名字可以任意取，大家都是这么定义的，之后我们通过itemgetter这个函数对我们字典中的元素进行排序。operator.itemgetter(1)表示按照元素的第二个进行排序，也就是分类出现的多少。我们的字典每一个元素都有两部分组成，也就是按照值来排序，reverse=True 表示按照递减的顺序来排序。

---

sortedClassCount[0][0] 表示的是按照分类的个数最多的元素的那个类。

总结

对于一些已经使用完所有特征的数据集，我们任然不能清楚的把一些类分离出来，我们就统计数量最多的那个分类，以次划分。

---

---

要么就不做，要做就做最好。