李航统计学习方法(第二版)基本概念：统计学习方法三要素

Posted 2021-02-21 qiu-hua

1.简介

统计学习方法都是由模型、策略和算法构成的

2.模型

在监督学习过程中，模型就是所要学习的条件概率分布或决策函数。

模型的假设空间包含所有可能的条件概率分布或决策函数。

2.1 决策函数模型

 

 

 

 

2.2 条件概率

 

 

 决策函数表示的模型为非概率模型，由条件概率表示的模型为概率模型

3 学习策略

考虑的是按照什么样的准则学习或选择最优的模型。

3.1 损失函数

损失函数度量模型一次预测的好坏

 

 

 3.1.1 0-1损失函数

 3.1.2 平方损失函数

 3.1.3 绝对损失函数

 3.1.4 对数损失函数

3.2 风险函数

风险函数度量平均意义下模型预测的好坏。

3.2.1 风险函数（期望损失）：损失函数的期望

3.2.2 经验风险（经验损失）：

 3.2.3 总结

期望风险是模型关于联合分布的期望损失，经验风险是模型关于训练样本集的平均损失。

3.3 经验风险最小化与结构风险最小化

4 算法

算法是指学习模型的具体计算方法。

随机梯度下降