《机器学习》(西瓜书)摘要

Posted sanlanghit

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了《机器学习》(西瓜书)摘要相关的知识,希望对你有一定的参考价值。

 第一章

<待更>

 

第二章 模型评估与选择

1,经验误差与过拟合

训练集上产生的误差成为训练误差或者经验误差;由于泛化误差不可知,故用经验误差来衡量泛化误差。

应适当允许经验误差;不是越小越好,太小,则易过拟合;太大,则欠拟合;

2,模型评估方法

评估学习器泛化误差,所用的测试集,要尽可能与训练集互斥。从数据集中产生训练集与测试集的方法有:

留出法(Hold-out):分层采样,直接将数据集分成互斥的两个集合,一个作为训练集,一个作为测试集。

  • 若干次随机划分,多次重复后取均值;训练集与数据集大小的妥协:2/3~4/5用于训练。

交叉验证法(Cross Validation):先将数据集划分为k个大小相同的互斥子集(仍然分层采用),然后每次用k-1个子集的并集作为训练集,另一个作为测试集,进行k次,最终返回k个测试结果的均值。

  • 特例:留一法(leave-one-out),特点: 评估准确,但开销太大。

自助法(Bootstrap):以自助采样法为基础,每次随机从数据集D中挑选一个样本,将其拷贝放入数据集D`;重复m次,就得到含有m个样本的训练集D`。D\D`作为测试集。

  • Bagging和随机森林基于此。

 3, 性能度量

错误率与精度

查准率和查全率: P-R曲线。

ROC和AUC:ROC是假正例率和真正例率的曲线;AUC:Area Under ROC Curve.

 

第八章 集成学习

集成学习通过构建并结合多个学习器来完成学习任务。相关概念:同质/异质集成,基学习器/弱学习器/强学习器,个体学习器/组件学习器/集成学习器。

集成的简短思路:通过多个学习器的结合,获得比单一学习器显著优越的泛化性能。对个体学习器的要求:准确并且多样。

代表性的几个集成学习器:

1,Boosting:个体学习器间强相互依赖,串行生成。

  • 先从初始训练集训练出一个基学习器,再根据器表现对训练器样本分布进行调整,使得先前学习器做错的样本在后续训练中受到更多关注,然后基于调整后的样本分布来训练下一个基学习器,如此重复,直到基学习器数目达到指定数目T。最后将T个基学习器进行加权组合。

2,Bagging:个体学习器间弱相互依赖,并行生成。

  • 基于Bootstrap法产生T个含有m个样本采样集。基于每个采样集训练出一个基学习器,然后将T个基学习器进行结合。
  • 对基学习器的输出进行结合时,Bagging通常对分类任务使用简单的投票法,对回归任务使用平均法。

3,Random Forest: 与Bagging法的区别在于,RF基于决策树,引入了决策树随机属性选择。多样化包含了样本波动和属性波动,因此往往比Bagging性能好。

4,结合策略

平均法:取平均。

投票法:少数服从多数。

学习法(?)

 

以上是关于《机器学习》(西瓜书)摘要的主要内容,如果未能解决你的问题,请参考以下文章

《西瓜书机器学习详细公式推导版》发布

Python神经网络学习--机器学习--西瓜书学习笔记

Python神经网络学习--机器学习--西瓜书学习笔记

Python神经网络学习--机器学习--西瓜书学习笔记

西瓜书笔记:机器学习相关会议及期刊

西瓜书笔记:机器学习相关会议及期刊