统计学习方法(李航)

Posted SparkDr

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了统计学习方法(李航)相关的知识,希望对你有一定的参考价值。

统计学习方法概论:

(一),统计学习

1,统计学习的特点

  

2,统计学习的对象

  

3,统计学习的目的

  

4,统计学习的方法(重点:模型的集合,策略(模型的选择),算法(模型的实现调优))

  

(二),监督学习重要概念

1,输入空间,特征向量空间,输出空间,预测问题分为(回归问题(输出为连续即可),分类问题,标注问题)

  

(三),统计学习三要素

1,模型

  决策函数模型:

  条件概率模型:

2,策略

2.1 损失函数:

   

    

2.2 经验风险最小化和结构最小化

  

  

  如贝叶斯估计的最大后验概率就是一种结构风险最小化的一个例子,通过使用先验概率作为发现(复杂的模型先验概率大)

3,算法

  

(四)模型评估选择

1,训练误差和测试误差

2,过拟合

  

  

  

  

    过拟合和欠拟合产生的原因及解决方式:

      欠拟合的原因:模型复杂度过低,不能很好的拟合所有的数据,训练误差大;
      避免欠拟合:增加模型复杂度,如采用高阶模型(预测)或者引入更多特征(分类)等。
      过拟合的原因:模型复杂度过高,训练数据过少,训练误差小,测试误差大;
      避免过拟合:降低模型复杂度,如加上正则惩罚项,如L1,L2,增加训练数据等。

4,正则化:L1和L2范式

5,交叉验证:训练集,验证集,测试集

6,泛化误差,泛化误差上界

7,生成模型(朴素贝叶斯)和判别模型(决策树,支持向量机)

  

8,分类模型

  

9,标注问题

  

 

  

以上是关于统计学习方法(李航)的主要内容,如果未能解决你的问题,请参考以下文章

《统计学习方法》李航 读书笔记

李航统计学习概述

统计学习方法 李航---第12章 统计学习方法总结

每月学习数理统计--《统计学习方法—李航》

统计学习方法 李航---第8章 提升方法

统计学习方法 李航