一起啃西瓜书机器学习-期末复习

Posted 2022-01-02 ZSYL

tags:

篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了一起啃西瓜书机器学习-期末复习相关的知识，希望对你有一定的参考价值。

机器学习-期末复习笔记

第一章：绪论
第二章：模型评估与选择
第三章：线性模型
第四章：决策树
第五章神经网络
第六章：支持向量机
第七章：贝叶斯分类器
第八章：集成学习
第九章：聚类
总结

第一章：绪论

引言

人工智能和机器学习，深度学习的关系：

机器学习是人工智能的一个实现途径
深度学习是机器学习的一个方法发展而来

机器学习致力于研究如何通过计算的手段，利用经验来改善系统自身的性能，从而在计算机上从数据（经验）中产生“模型”，用于对新的情况给出判断（利用此模型预测未来的一种方法）。

分为三类：监督学习、元监督学习、强化学习。

一般过程

数据获取
特征工程
模型选择
模型训练
模型评估
超参数条件
预测

更详细：

机器学习过程中,通过确定两方面的参数来找到泛化性能最好的函数:

函数参数,也就是我们通常所说的w和b，这类参数可以通过各种最优化算法自动求得;
模型参数,比如多项式回归中的多项式次数,规则化参数入等(即超参数)，一般在模型训练之前通过手工指定（当然也可以采用网格法等算法进行寻优)。

确定模型超参数的过程称为模型选择(从Algorithm选择Models)。

机器学习的一般过程:

确定模型的一组超参数，
用训练集训练该模型,找到使损失函数最小的最优函数,
在验证集上对最优函数的性能进行度量，
重复1、2、3步，直到搜索完指定的超参数组合，
选择在验证集上误差最小的模型,并合并训练集和验证集作为整体训练模型，找到最优函数,
在测试集上对最优函数的泛化性能进行度量。

任务

分类:离散值
回归:连续值
聚类:无标记信息

有无标记信息

监督学习：分类、回归
无监督学习：聚类
半监督学习：两者结合

数据

泛化能力

机器学习的目标是使得学到的模型能很好的适用于“新样本”，而不仅仅是训练集合，我们称模型适用于新样本的能力为泛化(generalization)能力。

第二章：模型评估与选择

错误率&误差

错误率

错误率即错分样本的占比：E = a/m

误差

误差即样本真实输出与预测输出之间的差异
- 训练(经验)误差–>训练集
- 测试误差–>测试集
- 泛化误差–>除训练集外所有样本（对未参与训练的样本总体，测试集只是其中一小部分）
机器学习的目的是通过现有样本，学习到泛化误差小的预测模型；
由于事先并不知道新样本的特征，我们只能努力使经验误差最小化；
但是，一味地减小经验误差并不必然意味着泛化误差减小。很多时候虽然能在训练集上做到分类错误率为零，但多数情况下这样的学习器并不好。

经验误差与过拟合

过拟合（训练集误差小，测试集误差大）
学习器把训练样本学习的“太好”，将训练样本本身的特点当做所有样本的一般性质（不考虑数据噪声），导致泛化性能下降
欠拟合（训练集误差大）
对训练样本的一般性质尚未学好

如何判断区分二者？

过拟合：模型过于复杂，导致训练误差低，测试误差高
欠拟合：模型简单，训练测试误差均高

解决：

过拟合

增加训练样本数量
正则化
降维
集成学习方法
减少模型复杂度

欠拟合：

添加新特性
增加模型复杂度
减小正则化系数

决策树:拓展分支
神经网络:增加训练轮数

过拟合：学习器把训练样本本身特点当做所有潜在样本都会具有的一般性质.
欠拟合：训练样本的一般性质尚未被学习器学好.

评估方法

现实任务中往往会对学习器的泛化性能、时间开销、存储开销、可解释性等方面的因素进行评估并做出选择。

我们假设测试集是从样本真实分布中独立采样获得，将测试集上的“测试误差”作为泛化误差的近似，所以测试集要和训练集中的样本尽量互斥。

留出法：

直接将数据集划分为两个互斥集合
训练/测试集划分要尽可能保持数据分布的一致性
一般若干次随机划分、重复实验取平均值
训练/测试样本比例通常为2:1~4:1

交叉验证法：

将数据集分层采样划分为k个大小相似的互斥子集，每次用k-1个子集的并集作为训练集，余下的一个子集作为测试集，最终返回k个测试结果的均值，k最常用的取值是10.

自助法：

以自助采样法为基础，对数据集D有放回采样m次得到训练集D’ , D\\D’用做测试集。

实际模型与预期模型都使用m个训练样本
约有1/3的样本没在训练集中出现
从初始数据集中产生多个不同的训练集，对集成学习有很大的好处
自助法在数据集较小、难以有效划分训练/测试集时很有用；由于改变了数据集分布可能引入估计偏差，在数据量足够时，留出法和交叉验证法更常用。

性能度量

性能度量是衡量模型泛化能力的评价标准，反映了任务需求；使用不同的性能度量往往会导致不同的评判结果

回归任务最常用的性能度量是“均方误差”：

错误率&精度

对于分类任务,错误率和精度是最常用的两种性能度量：

错误率：分错样本占样本总数的比率
精度（正确率）：分对样本占样本总数的比率

查准率&查全率

信息检索、Web搜索等场景中经常需要衡量正例被预测出来的比率或者预测出来的正例中正确的比率，此时查准率和查全率比错误率和精度更适合。

统计真实标记和预测结果的组合可以得到“混淆矩阵”：

查准率：在预测结果中，预测正例对了所占所有预测正例中的比例（竖着来）

查全率：在真实情况中，预测正例对了所占所有真实情况中的比例（横着来）

在预测癌症患者时，优先考虑查全率，因为如果有一个人漏判了便很严重，所以我们更看重：真实患有癌症的情况下，模型预测正确的概率。

基于混淆矩阵，解释什么是TPR（True Positive Rate）真正利率，FPR（False Positive Rate）假正例率，查准率（P），查全率（R）？

TPR和R相等，都是真实正例被预测正确的比例，即：TPR=R=TP/TP+FN
FPR：真实反例被预测为正例的比率，即：FPR=FP/FP+TN
P：预测为正例的实例中，真正正例的比例，即：P=TP/TP+FP

P-R曲线

对样本进行分类时，模型一般会存在置信度，即当判断一个样本为目标类别的最小概率。根据学习器的预测结果按正例可能性大小对样例进行排序，并逐个把样本作为正例进行预测，则可以得到查准率-查全率曲线，简称“P-R曲线”.

平衡点是曲线上“查准率=查全率”时的取值，可用来用于度量P-R曲线有交叉的分类器性能高低。

比P-R曲线平衡点更用常用的是F1度量：

比 $F 1$ 更一般的形式 $F_B$ ：

F1是基于P和R的调和平均，FB是加权调和平均

ROC&AUC

ROC曲线：纵轴是TPR，横轴是FPR

若某个学习器的ROC曲线被另一个学习器的曲线“包住”，则后者性能优于前者；否则如果曲线交叉，可以根据ROC曲线下面积大小进行比较，也即AUC值.

AUC衡量了样本预测的排序质量。

偏差与方差

通过实验可以估计学习算法的泛化性能，而“偏差-方差分解”可以用来帮助解释泛化性能。

期望输出与真实标记的差别称为偏差：

偏差度量了学习算法期望预测与真实结果的偏离程度；即刻画了学习算法本身的拟合能力；
方差度量了同样大小训练集的变动所导致的学习性能的变化；即刻画了数据扰动所造成的影响；
噪声表达了在当前任务上任何学习算法所能达到的期望泛化误差的下界；即刻画了学习问题本身的难度。

泛化性能是由学习算法的能力、数据的充分性以及学习任务本身的难度所共同决定的。给定学习任务为了取得好的泛化性能，需要使偏差小(充分拟合数据)而且方差较小(减少数据扰动产生的影响)。

第三章：线性模型

基本形式

线性模型一般形式：
$x$ ：属性描述的示例， $x i$ ：是 $x$ 在第 $i$ 个属性上的取值.

向量形式：

$f(x) = w^Tx + b$

$w = (w_1;w_2;...;w_d)$ ：向量表示

线性模型优点

形式简单、易于建模
可解释性
非线性模型的基础
- 引入层级结构或高维映射

线性回归（linear regression）目的

学得一个线性模型以尽可能准确地预测实值输出标记

单一属性的线性回归目标：

$f(x) = w^Tx + b$

参数/模型估计

参数/模型估计：最小二乘法（least square method）

最小化均方误差

分别对 $w$ 和 $b$ 求导，可得：

基于均方误差最小化来进行模型求解的方法为最小二乘法.

在线性回归中，最小二乘法就是试图找到一条直线，使所有样本到直线上的欧式距离之和最小。

对数线性回归

输出标记的对数为线性模型逼近的目标:

对数几率回归

二分类任务

$z = w^Tx + b$

寻找函数将分类标记与线性回归模型输出联系起来:

最理想的函数——单位阶跃函数

预测值大于零就判为正例，小于零就判为反例，预测值为临界值零则可任意判别

单位阶跃函数缺点：不连续

替代函数——对数几率函数（logistic function）

单调可微、任意阶可导

单位阶跃函数与对数几率函数的比较：

运用对数几率函数：

对数几率（log odds）

样本作为正例的相对可能性的对数

对数几率回归优点
无需事先假设数据分布
可得到“类别”的近似概率预测
可直接应用现有数值优化算法求取最优解

第四章：决策树

基本流程

决策树基于树结构来进行预测

决策过程中提出的每个判定问题都是对某个属性的“测试”
决策过程的最终结论对应了我们所希望的判定结果
每个测试的结果或是导出最终结论，或者导出进一步的判定问题，其考虑范围是在上次决策结果的限定范围之内
从根结点到每个叶结点的路径对应了一个判定测试序列

决策树学习的目的是为了产生一棵泛化能力强，即处理未见示例能力强的决策树

划分选择

决策树学习的关键在于如何选择最优划分属性。一般而言，随着划分过程不断进行，我们希望决策树的分支结点所包含的样本尽可能属于同一类别，即结点的“纯度”(purity)越来越高

经典的属性划分方法：

信息增益
增益率
基尼指数

信息增益

“信息熵”是度量样本集合纯度最常用的一种指标，假定当前样本集合D中第k类样本所占的比例为 $p_k$ ，则D的信息熵定义为：

Ent(D)的值越小，则D的纯度越高。

计算信息熵时约定：若p=0， $p*log2^p = 0$ .
Ent(D)的最小值为0，最大值 $log2^y$ .

一般而言，信息增益越大，则意味着使用属性a来进行划分所获得的“纯度提升”越大
ID3决策树学习算法[Quinlan, 1986]以信息增益为准则来选择划分属性

信息增益实例

存在的问题

若把“编号”也作为一个候选划分属性，则其信息增益一般远大于其他属性。显然，这样的决策树不具有泛化能力，无法对新样本进行有效预测。

信息增益对可取值数目较多的属性有所偏好

增益率

存在的问题：

增益率准则对可取值数目较少的属性有所偏好

C4.5 [Quinlan, 1993]使用了一个启发式：先从候选划分属性中找出信息增益高于平均水平的属性，再从中选取增益率最高的

基尼指数

数据集D的纯度可用“基尼值”来度量：

反映了从D中随机抽取两个样本，其类别标记不一致的概率.
Gini(D)：越小，数据集D的纯度越高.

CART [Breiman et al., 1984]采用“基尼指数”来选择划分属性

剪枝处理

为什么剪枝？

“剪枝”是决策树学习算法对付“过拟合”的主要手段
可通过“剪枝”来一定程度避免因决策分支过多，以致于把训练集自身的一些特点当做所有数据都具有的一般性质而导致的过拟合

剪枝的基本策略

预剪枝
后剪枝

判断决策树泛化性能是否提升的方法

留出法：预留一部分数据用作“验证集”以进行性能评估

预剪枝

决策树生成过程中，对每个结点在划分前先进行估计，若当前结点的划分不能带来决策树泛化性能提升，则停止划分并将当前结点记为叶结点，其类别标记为训练样例数最多的类别

针对上述数据集，基于信息增益准则，选取属性“脐部”划分训练集。分别计算划分前（即直接将该结点作为叶结点）及划分后的验证集精度，判断是否需要划分。若划分后能提高验证集精度，则划分，对划分后的属性，执行同样判断；否则，不划分

预剪枝的优缺点

优点

降低过拟合风险
显著减少训练时间和测试时间开销

缺点

欠拟合风险：有些分支的当前划分虽然不能提升泛化性能，但在其基础上进行的后续划分却有可能导致性能显著提高。预剪枝基于“贪心”本质禁止这些分支展开，带来了欠拟合风险

后剪枝

先从训练集生成一棵完整的决策树，然后自底向上地对非叶结点进行考察，若将该结点对应的子树替换为叶结点能带来决策树泛化性能提升，则将该子树替换为叶结点

后剪枝的优缺点

优点

后剪枝比预剪枝保留了更多的分支，欠拟合风险小，泛化性能往往优于预剪枝决策树

缺点

训练时间开销大：后剪枝过程是在生成完全决策树之后进行的，需要自底向上对所有非叶结点逐一考察

ID3,C4.5和CART算法对比

相同点：都采用贪心方法，以自顶向下递归的分治方式构造，随着树的构建，训练集递归地被划分为子集

不同点：

ID3算法基于信息增益为准则来选择划分属性，依赖于特征数目多的特征，没有考虑少特征和不完整数据，抗噪性差，容易产生过拟合.
C4.5算法基于增益率准则来选择划分属性，使用了一个启发式：先从候选划分属性中找出信息增益高于平均水平的属性，再从中选取增益率最高的，对可取值数目较少的属性有所偏好。