随机森林

Posted 2020-11-21 yinghuali

定义：随机森林是一个包含多个决策树的分类器， 并且其输出的类别是由个别树输出的类别的众数而定
建树过程：

随机性:1) 数据的随机性选取2)待选特征的随机选取
待选特征：左决策树，右随机森林

分裂特征：分裂特征（ID3算法，C4.5算法，CART算法等等）
特征权重：破坏所有样本某个特征数据（0.1，0.2…）,比较误差，误差相差很大，所以该特征重要
优点：1）能够处理高纬度的数据，并且不用做特征选择
2）训练完后，能给出特征重要性，且可进行特征重要性可视化展示，便于分析
3）它包含一个好方法可以估计遗失的资料，并且，如果有很大一部分的资料遗失，仍可以维持准确度
4）学习过程快速
缺点：1）随机森林已经被证明在某些噪音较大的分类或回归问题上会过拟
2）对于有不同取值的属性的数据，取值划分较多的属性会对随机森林产生更大的影响，所以随机森林在这种数据上产出的属性权值是不可信的。

 

转载本博笔记须在文章明显处注明原文的链接和作者信息