决策树与熵演变

Posted 2021-05-26 Data+Science+Insight

决策树与熵演变

熵，信息熵：

条件熵：当一个特征固定以后， 结果（数据集的新的信息熵）的不确定性即为条件熵。

联合熵：

信息增益：原熵-条件熵， 即为这个已确定变量给系统带来的稳定性增益：

注意：从数据集划分的角度来理解熵，以及熵的逐步的变化，即数据逐渐有序的过程。

如果所有节点的数据是同一类别，那么熵就是最小了，0.