机器学习 第2章 学习笔记模型评估与选择

Posted 2020-08-01 kane_zch

1.训练误差：学习器在训练集上的误差，也称“经验误差”

2.泛化误差：学习器在新样本上的误差

显然，我们的目标是得到在新样本上表现更好的学习器，即泛化误差要小

 

3.过拟合：学习器把训练样本学的太好了，导致泛化性能下降（学过头了。。。让我联想到有些人死读书，读死书，僵化，不懂得变通和举一反三）

   原因：学习能力过于强大，把一些不太一般的特性也学了进来

   针对措施：不好解决，是机器学习面临的关键障碍

4.欠拟合：就是连训练集都没学好，更别说泛化了（有点管中窥豹，盲人摸象的意思）。

   原因: 学习能力低下

   针对措施：比较容易克服，如决策树中的扩展分支、神经网络学习中增加训练轮数等。

 

二、模型评估方法

     不同的学习算法+不同的参数配置=不同的模型

     那么如何找出泛化误差最小的模型（就是我们理想中的模型）？

1.留出法

  把我们手上现有的数据集分成两个互斥的集合，用其中一个来作为训练集训练模型，用另一个来检验模型，测试误差，作为对泛化误差的估计

2.交叉验证法

 把数据集D划分为k个互斥子集，每次用k-1个子集去训练模型，留下一个子集来测试模型，特例“留一法”

3.自助法

 需注意几个概念：

验证集：模型评估与选择中用于评估测试的数据集

测试数据：学得的模型 在实际使用中遇到的数据

训练数据：划分为训练集和验证集

 

三、性能度量

 衡量模型泛化能力的评价标准