机器学习与人工智障:决策树与随机森林
Posted bigdata-stone
tags:
篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了机器学习与人工智障:决策树与随机森林相关的知识，希望对你有一定的参考价值。
一、从LR到决策树
1.总体流程与核心问题
(1)决策树是基于树的结构进行决策：
每个“内部节点”对应于某个属性上的“测试”
每个分支对应于该测试的一种可能结果(即该属性上的每个取值)
每个叶节点对应于一个预测结果
(2)学习过程：通过对训练样本的分析来确定“划分属性”(即内部节点所对应的属性)
(3)预测过程：将测试实例从根节点开始，沿着划分属性所构成的“判定测试序列”下行，直到叶节点
2.决策树的总体流程：
(1):“分而治之(divide-and-conquer)”
自根至叶的递归过程
在每一个中间节点寻找一个“划分属性”
(2)三种停止的条件：
当前节点包含的样本完全属于同一类别，无需划分；
当前属性集为空，或者所有样本在所有属性上取值相同，无法划分
当前节点包含的样本集合为空，不能划分
3.熵、信息增益、信息增益率
二、回归树
1.构建回归树
2.最优化回归树
三、从决策树到随机森林
1.采样与bootstrap
2.bagging与随机森林
以上是关于机器学习与人工智障:决策树与随机森林的主要内容，如果未能解决你的问题，请参考以下文章