南瓜书ML(task1)绪论+模型评估与选择

Posted 2022-07-15 山顶夕景

学习总结

• 学习南瓜书，先看西瓜书本—第1章和第2章主要是讲一些基本概念和术语，可以先跳过以下知识点，等后面部分学完后再来回顾：
  第1章：【1.4-归纳偏好】可以跳过
  第2章：【2.3.3-ROC与AUC】及其以后的都可以跳过
• 高阶指标包括 P-R 曲线，ROC 曲线和平均精度均值。P-R 曲线的横坐标是召回率，纵坐标是精确率；ROC 曲线的横坐标是假阳性率，纵坐标是真阳性率。平均精度均值 mAP是对每个用户的精确率均值的再次平均。

文章目录

• 学习总结
• 一、机器学习导言
• • 1.1 基本术语和符号表
  • • （1）基本术语
    • （2）符号表（书中常用）
  • 1.2 经验误差与过拟合
  • 1.3 公式推导部分
• 二、模型评估
• • 2.0 几个评估方法
  • • （1）留出法（hold-out）
    • （2）交叉验证法
    • （3）自助法
  • 2.1 几个评估指标
  • （1）精确率（precision，P值）
  • （2）召回率（Recall，R值）
  • （3）准确率和召回率的权衡
  • 2.2 错误率和精度
  • 2.3 公式推导部分（还需研究）
  • • （1）AUC公式（公式2.20）
    • （2）排序中的loss函数定义（公式2.21）
    • （3）假设检验中的置信度（公式2.27）
    • （4）对期望泛化误差进行分解（公式2.41）
• 三、概率统计基础知识
• • 3.1 二项分布参数$p$的检验
• 四、时间规划
• Reference

一、机器学习导言

1.1 基本术语和符号表

（1）基本术语

• 学习任务分为两大类：监督学习、无监督学习
• 独立同分布：假设样本空间中，全体样本服从一个未知“分布”，获得的每个样本都是独立地从这个分布上采样获得
• 两大任务：
  • 分类：预测值为离散值的问题
  • 回归：预测值为连续值的问题

其他概念：
归纳、演绎、概念学习、假设空间、版本空间；
归纳偏好（偏好）、奥卡姆剃刀。

（2）符号表（书中常用）

• $x$-一标量
• $\mathbf{x}-$-向量
• $\mathbf{x}$ 一一变量集
• A 一一矩阵
• I-一单位阵
• $\mathcal{X}$ 一一样本空间或状态空间
• D一概率分布
• $D$ —一数据样本（数据集）
• H一一假设空间
• H一一假设集
• L一一学习算法
• $(\cdot ,\cdot ,\cdot )$ 一一行向量
• $(\cdot ;\cdot \cdot )$ 一一列向量
• $(\cdot {)}^{\top }$ 一一向量或矩阵转置
• $\cdots$ 一一集合
• $|\cdots |$ 一一集合 $\cdots$ 中元素的个数
• $\Vert \cdot {\Vert }_p--L_p$ 范数, p缺省时为 $L_2$ 范数
• $P(\cdot ),P(\cdot \mid \cdot )$ 一一概率质量函数, 条件概率质量函数
• $p(\cdot ),p(\cdot \mid \cdot )$ 一一概率密度函数, 条件概率密度函数
• ${\mathbb{E}}_{\sim \sim \mathcal{D}}[f(\cdot )]$ 一一函数 $f(\cdot )$ 对.在分布 $\mathcal{D}$ 下的数学期望；意义明确时将省略 $\mathcal{D}$ 和（或）.
• $\sup (\cdot )$ 一一上确界
• $\mathbb{I}(\cdot )$ 一一指示函数, 在.为真和假时分别取值为 1,0
• $\mathrm{sign}(\cdot )\text{ 一一符号函数, 在 }:<0,=0,>0\text{ 时分别取值为 }-1,0,1$

对上面的几个解释：

• 空间可以简单的理解为集合，假设空间是一个超集（全集）
• 全集的一部分被称为假设集，可以认为假设集是假设空间的一个子集

逗号分割：行向量
分号分割：列向量
指示函数：把逻辑空间映射成0,1进而参与运算

1.2 经验误差与过拟合

• 错误率：在m个样本中有个a个样本分类错误，错误率为E=a/m
• 误差：学习器的prediction和样本的真实label之间的差距
• 训练误差or经验误差：学习器在训练集上的误差
• 泛化误差：学习器在新样本上的误差

1.3 公式推导部分

• 假设样本空间 $\mathcal{X}$ 和假设空间 $\mathcal{H}$ 都是离散的. 令 $P\left(h\mid X,{\mathfrak{L}}_a\right)$ 代表算法 ${\mathfrak{L}}_a$ 基于训练数据 $X$ 产生假设 $h$ 的概率
• 令 $f$ 代表我们希望学习的 真实目标函数. ${\mathfrak{L}}_a$ 的 “训练集外误差”, 即 ${\mathfrak{L}}_a$ 在训练集之外的所有样本上的误差为：

$$E_{ote}\left({\mathfrak{L}}_a|X,f\right)=\sum _h\sum _{\mathbf{x}\in \mathcal{X}-X}P(\mathbf{x})\mathbb{I}(h(\mathbf{x})\ne f(\mathbf{x}))P\left(h|X,{\mathfrak{L}}_a\right)$$
$\text{ 其中 }\mathbb{I}(\cdot )\text{ 是指示函数, 若. 为真则取值 }1\text{, 否则取值 }0\text{. }$

考虑二分类问题, 且真实目标函数可以是任何函数 $\mathcal{X}\mapsto 0,1$, 函数空间 为 $0,1{}^{|\mathcal{X}|}$. 对所有可能的 $f$ 按均匀分布对误差求和, 有：
$$\begin{array}{rl}\sum _f{E}_{ote}({\mathfrak{L}}_a|X,f)& =\sum _f\sum _h\sum _{\mathbf{x}\in \mathcal{X}-X}P(\mathbf{x})\mathbb{I}(h(\mathbf{x})\ne f(\mathbf{x}))P(h|X,{\mathfrak{L}}_{}\\ & \\ & \\ & \\ & \end{array}$$