机器学习——决策树

Posted 笨拙的忍者

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了机器学习——决策树相关的知识,希望对你有一定的参考价值。

整理自:

https://blog.csdn.net/woaidapaopao/article/details/77806273?locationnum=9&fps=1

  • 各种熵的计算
  • 常用的树搭建方法
  • 防止过拟合—剪枝
  • 前剪枝的几种停止条件

1.各种熵的计算

熵、联合熵、条件熵、交叉熵、KL散度(相对熵)

  • 熵用于衡量不确定性,所以均分的时候熵最大
  • KL散度用于度量两个分布的不相似性,KL(p||q)等于交叉熵H(p,q)-熵H(p)。交叉熵可以看成是用q编码P所需的bit数,减去p本身需要的bit数,KL散度相当于用q编码p需要的额外bits。
  • 交互信息Mutual information :I(x,y) = H(x)-H(x|y) = H(y)-H(y|x) 表示观察到x后,y的熵会减少多少。

 2.常用的树搭建方法

ID3、C4.5、CART分别利用信息增益、信息增益率、Gini指数作为数据分割标准。

  • 其中信息增益衡量按照某个特征分割前后熵的减少程度,其实就是上面说的交互信息。

  • 用上述信息增益会出现优先选择具有较多属性的特征,毕竟分的越细的属性确定性越高。所以提出了信息增益率的概念,让含有较多属性的特征的作用降低。

  • CART树在分类过程中使用的基尼指数Gini,只能用于切分二叉树,而且和ID3、C4.5树不同,Cart树不会在每一个步骤删除所用特征。


 3.防止过拟合—剪枝

剪枝分为前剪枝和后剪枝,前剪枝本质就是早停止,后剪枝通常是通过衡量剪枝后损失函数变化来决定是否剪枝。后剪枝有:错误率降低剪枝、悲观剪枝、代价复杂度剪枝


 4.前剪枝的几种停止条件

  • 节点中样本为同一类
  • 特征不足返回多类
  • 如果某个分支没有值则返回父节点中的多类
  • 样本个数小于阈值返回多类

 

以上是关于机器学习——决策树的主要内容,如果未能解决你的问题,请参考以下文章

机器学习--决策树

机器学习实战教程:决策树实战篇

机器学习决策树理论第二卷

机器学习笔记五 决策树

吴裕雄--天生自然python机器学习:决策树算法

机器学习之路--决策树