李航统计学习方法(第二版)基本概念：泛化能力

Posted 2021-02-20 qiu-hua

 

1 泛化误差

学习方法的泛化能力(generalization ability)是指由该方法学习到的模型对未知数据的预测能力，是学习方法本质重要的性质。

泛化误差反映了学习方法的泛化能力，如果一种方法学习的模型比另一种方法学习的模型具有更小的泛化误差，那么这种方法就更有效。
事实上，泛化误差就是所学习到的模型的期望风险。

2 泛化误差上界

学习方法的泛化能力分析往往是通过研究泛化误差的概率上界进行的，简称为泛化误差上界(generalization error bound )。具体来说，就是通过比较两种学习方法的
泛化误差上界的大小来比较它们的优劣。