学习笔记 | 机器学习 决策树

Posted 2022-12-11 叶庭云

文章目录

• 一、算法原理
• 二、基础知识
• • 1. 自信息、信息熵与条件熵
  • 2. 信息增益和增益率
  • 3. Gini 值和 Gini 指数
• 三、过拟合与剪枝
• 四、连续值和缺失值处理
• • 1. 连续值处理
  • 2. 缺失值处理
• 五、总结

通过这篇博客，您将收获如下知识：

• 熟悉决策树相关的基础知识：自信息、信息熵与条件熵，信息增益和增益率，Gini 值和 Gini 指数。
• 熟悉决策树算法的关键原理，模型、策略与优化算法。
• 了解决策树中过拟合问题和剪枝处理，以及 sklearn 中决策树模型中剪枝相关的参数说明。
• 了解决策树连续值和缺失值的处理思路
• 了解决策树算法的优缺点

---

一、算法原理

决策树（Decision Tree） 是一种重要的有监督的机器学习方法。决策树有时候是指学习方法，有时是指学得的树，核心是为了模拟人类决策过程。以二分类任务为例，我们希望从给定训练数据集学得一个模型