《机器学习》(西瓜书)摘要
Posted sanlanghit
tags:
篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了《机器学习》(西瓜书)摘要相关的知识,希望对你有一定的参考价值。
第一章
<待更>
第二章 模型评估与选择
1,经验误差与过拟合
训练集上产生的误差成为训练误差或者经验误差;由于泛化误差不可知,故用经验误差来衡量泛化误差。
应适当允许经验误差;不是越小越好,太小,则易过拟合;太大,则欠拟合;
2,模型评估方法
评估学习器泛化误差,所用的测试集,要尽可能与训练集互斥。从数据集中产生训练集与测试集的方法有:
留出法(Hold-out):分层采样,直接将数据集分成互斥的两个集合,一个作为训练集,一个作为测试集。
- 若干次随机划分,多次重复后取均值;训练集与数据集大小的妥协:2/3~4/5用于训练。
交叉验证法(Cross Validation):先将数据集划分为k个大小相同的互斥子集(仍然分层采用),然后每次用k-1个子集的并集作为训练集,另一个作为测试集,进行k次,最终返回k个测试结果的均值。
- 特例:留一法(leave-one-out),特点: 评估准确,但开销太大。
自助法(Bootstrap):以自助采样法为基础,每次随机从数据集D中挑选一个样本,将其拷贝放入数据集D`;重复m次,就得到含有m个样本的训练集D`。D\D`作为测试集。
- Bagging和随机森林基于此。
3, 性能度量
错误率与精度
查准率和查全率: P-R曲线。
ROC和AUC:ROC是假正例率和真正例率的曲线;AUC:Area Under ROC Curve.
第八章 集成学习
集成学习通过构建并结合多个学习器来完成学习任务。相关概念:同质/异质集成,基学习器/弱学习器/强学习器,个体学习器/组件学习器/集成学习器。
集成的简短思路:通过多个学习器的结合,获得比单一学习器显著优越的泛化性能。对个体学习器的要求:准确并且多样。
代表性的几个集成学习器:
1,Boosting:个体学习器间强相互依赖,串行生成。
- 先从初始训练集训练出一个基学习器,再根据器表现对训练器样本分布进行调整,使得先前学习器做错的样本在后续训练中受到更多关注,然后基于调整后的样本分布来训练下一个基学习器,如此重复,直到基学习器数目达到指定数目T。最后将T个基学习器进行加权组合。
2,Bagging:个体学习器间弱相互依赖,并行生成。
- 基于Bootstrap法产生T个含有m个样本采样集。基于每个采样集训练出一个基学习器,然后将T个基学习器进行结合。
- 对基学习器的输出进行结合时,Bagging通常对分类任务使用简单的投票法,对回归任务使用平均法。
3,Random Forest: 与Bagging法的区别在于,RF基于决策树,引入了决策树随机属性选择。多样化包含了样本波动和属性波动,因此往往比Bagging性能好。
4,结合策略
平均法:取平均。
投票法:少数服从多数。
学习法(?)
以上是关于《机器学习》(西瓜书)摘要的主要内容,如果未能解决你的问题,请参考以下文章