机器学习算法整理决策树
Posted 豆子
tags:
篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了机器学习算法整理决策树相关的知识，希望对你有一定的参考价值。
以下均为自己看视频做的笔记，自用，侵删！
还参考了：http://www.ai-start.com/ml2014/
决策树的训练与测试
如何切分特征（选择节点）
-
衡量标准-熵
-
信息增益
决策树构造实例
信息增益：表示特征X使得类Y的不确定性减小的程度。（分类后的专一性，希望分类后的结果是同类在一起）
Outlook = sunny时，熵值 = (-2/5)*log(2/5)/log2 - (3/5) * log(3/5) / log(2)
..........
决策树算法
连续值
剪枝策略
剪枝策略
后剪枝： C(T): 评价函数， T_leaf : 叶子结点个数, 求minC(T)， alpha大：T_leaf 小；alpha小：T_leaf可以多点
后剪枝：比较分裂前和分裂后 损失值是否会变大，变大就不要了！
以上是关于机器学习算法整理决策树的主要内容，如果未能解决你的问题，请参考以下文章