机器学习之决策树
Posted
tags:
篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了机器学习之决策树相关的知识，希望对你有一定的参考价值。
决策树：从给定训练数据集学的一个模型用于对新示例进行分类。
我们希望决策树的分支节点所包含的样本尽可能属于同一类别，即结点的“纯度”越高越好，这样避免多次无用的分类。
1.用信息熵度量样本集合纯度。
假定当前样本集合D中第k类样本所占的比例为pk（k = 1,2,.....,|y|）,则D的信息熵定义为
Ent（D）= -∑pklog2pk
信息熵增益越大，则意味着使用该属性进行划分所获取的“纯度”提升越大。ID3（Iterative Dichotomiser）就是以信息增益为准则来选择属性划分的。
假如在决策中使用属性编号，则可以看出其分支数将达到最大，将远超出其他，但是缺乏泛化能力，无法对新样本进行有效的预测。
实际中在
以上是关于机器学习之决策树的主要内容，如果未能解决你的问题，请参考以下文章