决策树(chap3)Machine Learning In Action学习笔记

Posted woaielf

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了决策树(chap3)Machine Learning In Action学习笔记相关的知识,希望对你有一定的参考价值。

优点:计算复杂度不高,输出结果易于理解,对中间值的缺失不敏感,可以处理不相关特征数据。
缺点:可能会产生过度匹配问题。
适用数据类型:数值型(必须离散化)和标称型。

决策树创建分支的伪代码函数createBranch():
检测数据集中的每个子项是否属于同一分类:
    If so return 类标签;
    Else
        寻找划分数据集的最好特征
        划分数据集
        创建分支节点
            for 每个划分的子集
                调用函数createBranch并增加返回结果到分支节点中
        return 分支节点

决策树的一般流程 
收集数据:可以使用任何方法。
准备数据:树构造算法只适用于标称型数据,因此数值型数据必须离散化
分析数据:可以使用任何方法,构造树完成之后,我们应该检查图形是否符合预期。
训练算法:构造树的数据结构。(ID3算法
测试算法:使用经验树计算错误率
使用算法:此步骤可以适用于任何监督学习算法,而使用决策树可以更好地理解数据的内在含义

划分数据集的大原则是:将无序的数据变得更加有序。
组织杂乱无章数据的一种方法就是使用信息论度量信息。
信息增益:划分数据集之前之后信息发生的变化。(计算每个特征值划分数据集获得的信息增益,获得信息增益最高的特征就是最好的选择。)
集合信息的度量方式称为香农熵或者简称为熵(信息的期望值熵越大则数据越无序。
待分类的事务可能划分在多个分类之中,则符号xi 的信息 (p(xi)是选择该分类的概率)
(信息的期望值):(n是分类的数目)

对每个特征划分数据集的结果计算一次信息熵,然后判断按照哪个特征划分数据集是最好的划分方式。

递归构建决策树:
工作原理如下:得到原始数据集,然后基于最好的属性值划分数据集,由于特征值可能多于两个,因此可能存在大于两个分支的数据集划分。第一次划分之后,数据将被向下传递到树分支的下一个节点,在这个节点上,我们可以再次划分数据。因此我们可以采用递归的原则处理数据集。
递归结束的条件是:程序遍历完所有划分数据集的属性,或者每个分支下的所有实例都具有相同的分类。如果所有实例具有相同的分类,则得到一个叶子节点或者终止块。任何到达叶子节点的数据必然属于叶子节点的分类。

构造决策树是很耗时的任务,即使处理很小的数据集,如前面的样本数据,也要花费几秒的时间,如果数据集很大,将会耗费很多计算时间。然而用创建好的决策树解决分类问题,则可以很快完成。因此,为了节省计算时间,最好能够在每次执行分类时调用已经构造好的决策树。为了解决这个问题,需要使用Python模块pickle序列化对象

本章代码:(略去画图部分,太繁琐了……)
  1. # -*- coding:utf-8 -*-
  2. from math import log
  3. from numpy import *
  4. import operator
  5. def createDataSet():
  6. dataSet = [[1, 1, \'yes\'],
  7. [1, 1, \'yes\'],
  8. [1, 0, \'no\'],
  9. [0, 1, \'no\'],
  10. [0, 1, \'no\']]
  11. labels = [\'no surfacing\', \'flippers\']
  12. # change to discrete values
  13. return dataSet, labels
  14. # 测量给定数据集的信息熵,度量数据的无序程度,熵越大则数据越无序。
  15. def calcShannonEnt(dataSet):
  16. numEntries = len(dataSet)
  17. labelCounts = {}
  18. for featVec in dataSet:
  19. currentLabel = featVec[-1]
  20. labelCounts[currentLabel] = labelCounts.get(currentLabel, 0) + 1
  21. shannonEnt = 0.0
  22. for key in labelCounts:
  23. prob = float(labelCounts[key]) / numEntries
  24. shannonEnt -= prob * log(prob, 2)
  25. return shannonEnt
  26. # 按照给定特征划分数据集(当我们按照某个特征划分数据集时,就需要将所有符合要求的元素抽取出来)
  27. # axis:用来划分数据集的特征(索引值), value:该特征选取的属性值(需要返回的值)
  28. def splitDataSet(dataSet, axis, value):
  29. retDataSet = []
  30. for featVec in dataSet:
  31. if featVec[axis] == value:
  32. reducedFeatVec = featVec[:]
  33. reducedFeatVec.remove(value)
  34. retDataSet.append(reducedFeatVec)
  35. return retDataSet
  36. # 选择最好的数据集划分方式
  37. def chooseBestFeatureToSplit(dataSet):
  38. numFeatures = len(dataSet[0]) - 1
  39. baseEntropy = calcShannonEnt(dataSet)
  40. bestInfoGain = 0.0
  41. bestFeature = -1
  42. for i in range(numFeatures):
  43. # 创建唯一的分类标签列表
  44. featList = [example[i] for example in dataSet]
  45. uniqueVals = set(featList)
  46. newEntropy = 0.0
  47. # 计算每种划分方式的信息熵
  48. for value in uniqueVals:
  49. subDataSet = splitDataSet(dataSet, i, value)
  50. prob = len(subDataSet) / float(len(dataSet))
  51. newEntropy += prob * calcShannonEnt(subDataSet)
  52. infoGain = baseEntropy - newEntropy
  53. # 计算最好的信息增益
  54. if infoGain > bestInfoGain:
  55. bestInfoGain = infoGain
  56. bestFeature = i
  57. return bestFeature
  58. def majorityCnt(classList):
  59. classCount = {}
  60. for vote in classList:
  61. classCount[vote] = classCount.get(vote, 0) + 1
  62. sortedClassCount = sorted(classCount.iteritems(), key=operator.itemgetter(1), reverse=True)
  63. return sortedClassCount[0][0]
  64. def createTree(dataSet, labels):
  65. classList = [example[-1] for example in dataSet]
  66. # 两个结束条件:类别完全相同或者遍历完所有特征
  67. if len(set(classList)) == 1:
  68. return classList[0]
  69. if len(dataSet[0]) == 1:
  70. return majorityCnt(classList)
  71. bestFeat = chooseBestFeatureToSplit(dataSet)
  72. bestFeatLabel = labels[bestFeat]
  73. myTree = {bestFeatLabel: {}}
  74. del(labels[bestFeat])
  75. featValues = [example[bestFeat] for example in dataSet]
  76. uniqueVals = set(featValues)
  77. for value in uniqueVals:
  78. subLabels = labels[:]
  79. myTree[bestFeatLabel][value] = createTree(splitDataSet(dataSet, bestFeat, value), subLabels)
  80. return myTree
  81. def classify(inputTree, featLabels, testVec):
  82. firstStr = inputTree.keys()[0]
  83. secondDict = inputTree[firstStr]
  84. featIndex = featLabels.index(firstStr)
  85. for key in secondDict.keys():
  86. if testVec[featIndex] == key:
  87. if type(secondDict[key]).__name__ == \'dict\':
  88. classLabel = classify(secondDict[key], featLabels, testVec)
  89. else:
  90. classLabel = secondDict[key]
  91. return classLabel
  92. # 使用pickle模块存储决策树
  93. def storeTree(inputTree, filename):
  94. import pickle
  95. fw = open(filename, \'w\')
  96. pickle.dump(inputTree, fw)
  97. fw.close()
  98. def grabTree(filename):
  99. import pickle
  100. fr = open(filename)
  101. return pickle.load(fr)

参考资料:
1. Peter Harrington《机器学习实战》第三章




以上是关于决策树(chap3)Machine Learning In Action学习笔记的主要内容,如果未能解决你的问题,请参考以下文章

Machine Learn决策树案例:基于python的商品购买能力预测系统

论文笔记:Mystique: Efficient Conversions for Zero-Knowledge Proofs with Applications to Machine Learnin

初探MACHINE LEARNING—–决策树好百家乐技巧他们都很愿意分享技

Intro to Machine Learning

决策树预测森林植被

“拆分属性”可以在决策树中出现多次吗?