统计学习方法读后小结

Posted 2020-08-11 pclover11

一、损失函数和风险函数

　　损失函数（loss function）是度量模型一次预测的好坏，风险函数度量平均意义下模型预测好坏。

　　期望风险是模型关于联合分布的期望损失，经验风险是模型关于训练样本集的平均损失。根据大数定理，当样本容量N趋于无穷大时，经验风险Remp趋于期望风险Rexp。当用经验风险去预测期望风险时，要对经验风险进行一定的矫正，经常使用的是监督学习的经验风险最小化、结构风险最小化。两种方法。