决策树基本原理
Posted jaysonteng
tags:
篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了决策树基本原理相关的知识，希望对你有一定的参考价值。
原理：
要对数据进行分类，涉及到通过选取什么样的特征对数据进行分类，比如将柚子和西瓜进行分类，可以选取（大小、颜色、甜度等特征）
决策树的功能就是判断使用哪个特征，然后选取他认为最好的特征对数据进行分类。
那么他是如何选取最好的特征呢？
就是通过信息熵来选取特征，求以每个特征来分类对应的信息熵（香农熵），选取信息熵最大的特征来作为分类依据。
不一定一次就能把数据进行分类（比如橘子和柠檬），可能需要不断地求当前数据的信息熵然后分类迭代下去。
优点：
1、计算复杂度不高
2、结果易于理解
3、对中间值确实不敏感
缺点：
可能会产生过度匹配问题
以上是关于决策树基本原理的主要内容，如果未能解决你的问题，请参考以下文章