2.1经验误差与过拟合
定义：误差（error）：学习器的实际预测输出与样本的真是输出之间的差异
定义：学习器在训练集上的误差称为“训练误差”（training error）或“经验误差”（empirical error）；
在新样本上的误差称为“泛化误差”（generalization error）。
显然，我们希望得到泛化误差小的学习器。
然而，我们事先并不知道新样本是什么样，实际能做的是努力使经验误差最小化。
在很多情况下，我们可以学得一个经验误差很小、在训练集上表现很好的学习器，
例如，甚至对所有训练样本都分类正确，即分类错误率为零，分类精度为100%，
但这是不是我们想要的学习器呢？遗憾的是，这样的学习器在多数情况下都不好。
我们实际希望的，实在新样本上能表现得很好的学习器。
为了达到这个目的，应该从训练样本中尽可能的学出适应于所有潜在样本的“普遍规律”，这样才能在遇到新样本时做出正确的判别。
然而，当学习器把训练样本学得“太好”了的时候，很可能已经把训练样本自身的一些特点当做了所有潜在样本都会具有的一般性质，这样就会导致泛化性能下降。
这种现象在机器学习中称为“过拟合”（overfitting），
与过拟合相对的是“欠拟合”（underfitting），这是指对训练样本的一般性质尚未学好。
2.2评估方法
将数据集分成训练集和测试集
----2.2.1留出法
----2.2.2交叉验证法
----2.2.3自助法
----2.2.4调参与最终模型
2.3性能度量
回归：均方误差
分类：
----2.3.1错误率与精度
定义：错误率（error rate）：分类错误的样本数占总样本总数的比例
理解：如果在m个样本中有a个样本分类错误，则错误率E=a/m；
定义：精度（accuracy）：1-错误率
理解：精度A=1-a/m
----2.3.2查准率、查全率与F1
----2.3.3ROC与AUC
----2.3.4代价敏感错误与代价曲线
2.4比较检验
----2.4.1假设检验
----2.4.2交叉验证t检验
----2.4.3McNemar检验
----2.4.4Friedman检验与Nemenyi检验
2.5偏差与方差