机器学习 第2章 学习笔记模型评估与选择

Posted kane_zch

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了机器学习 第2章 学习笔记模型评估与选择相关的知识,希望对你有一定的参考价值。

1.训练误差:学习器在训练集上的误差,也称“经验误差”

2.泛化误差:学习器在新样本上的误差

显然,我们的目标是得到在新样本上表现更好的学习器,即泛化误差要小

 

3.过拟合:学习器把训练样本学的太好了,导致泛化性能下降(学过头了。。。让我联想到有些人死读书,读死书,僵化,不懂得变通和举一反三)

   原因:学习能力过于强大,把一些不太一般的特性也学了进来

   针对措施:不好解决,是机器学习面临的关键障碍

4.欠拟合:就是连训练集都没学好,更别说泛化了(有点管中窥豹,盲人摸象的意思)。

   原因: 学习能力低下

   针对措施:比较容易克服,如决策树中的扩展分支、神经网络学习中增加训练轮数等。

 

二、模型评估方法

     不同的学习算法+不同的参数配置=不同的模型

     那么如何找出泛化误差最小的模型(就是我们理想中的模型)?

1.留出法

  把我们手上现有的数据集分成两个互斥的集合,用其中一个来作为训练集训练模型,用另一个来检验模型,测试误差,作为对泛化误差的估计

2.交叉验证法

 把数据集D划分为k个互斥子集,每次用k-1个子集去训练模型,留下一个子集来测试模型,特例“留一法”

3.自助法

 需注意几个概念:

验证集:模型评估与选择中用于评估测试的数据集

测试数据:学得的模型 在实际使用中遇到的数据

训练数据:划分为训练集和验证集

 

三、性能度量

 衡量模型泛化能力的评价标准

 

以上是关于机器学习 第2章 学习笔记模型评估与选择的主要内容,如果未能解决你的问题,请参考以下文章

机器学习吃瓜教程学习笔记1

学习笔记1:《机器学习》第二章 模型评估与选择

机器学习笔记模型评估与选择

机器学习笔记第二章:模型评估与选择

周志华机器学习--模型评估与选择

机器学习123模型评估与选择 (上)