树模型及其提升方法

Posted 2020-11-19 bytedance

树模型

• 应用场景：1.分类   2.回归
• 分类应用中的树模型等价于if-then规则的集合or定义在特征空间与类空间的条件概率分布，可解释性强
• 概念：

1. 熵：表示随机变量的不确定程度，其数值越大，则随机变量的不确定性也越大

2.条件熵：表示在已知随机变量X的条件下随机变量Y的不确定性，定义为X已知时随机变量Y的条件概率的熵对X的数学期望

3.信息增益：表示已知特征X的信息而使得类Y的不确定性减少的程度 

g(Y,X)=H(Y)-H(Y|X)

4.信息增益比：解决信息增益

g_r(Y,X)=g(Y,X)/H(Y)

• 实现：本质是特征选择问题

1. ID3