统计学习方法（李航）

Posted 2020-09-26 SparkDr

统计学习方法概论：

（一），统计学习

1，统计学习的特点

　　

2，统计学习的对象

　　

3，统计学习的目的

　　

4，统计学习的方法（重点：模型的集合，策略（模型的选择），算法（模型的实现调优））

　　

（二），监督学习重要概念

1，输入空间，特征向量空间，输出空间，预测问题分为（回归问题（输出为连续即可），分类问题，标注问题）

　　

（三），统计学习三要素

1，模型

　　决策函数模型：

　　条件概率模型：

2，策略

2.1 损失函数：

　　　

　　　　

2.2 经验风险最小化和结构最小化

　　

　　

　　如贝叶斯估计的最大后验概率就是一种结构风险最小化的一个例子，通过使用先验概率作为发现（复杂的模型先验概率大）

3，算法

　　

（四）模型评估选择

1，训练误差和测试误差

2，过拟合

　　

　　

　　

　　

　　　　过拟合和欠拟合产生的原因及解决方式：

　　　　　　欠拟合的原因：模型复杂度过低，不能很好的拟合所有的数据，训练误差大；

　　　　　　避免欠拟合：增加模型复杂度，如采用高阶模型（预测）或者引入更多特征（分类）等。

　　　　　　过拟合的原因：模型复杂度过高，训练数据过少，训练误差小，测试误差大；

　　　　　　避免过拟合：降低模型复杂度，如加上正则惩罚项，如L1，L2，增加训练数据等。

4，正则化：L1和L2范式

5，交叉验证：训练集，验证集，测试集

6，泛化误差，泛化误差上界

7，生成模型（朴素贝叶斯）和判别模型（决策树，支持向量机）

　　

8，分类模型

　　

9，标注问题