机器学习笔记第一章：绪论

Posted 2020-09-20 VincentCheng

主要符号表：

$x$	标量
$\mathit{x}$	向量
X	变量集
$\mathbf{A}$	矩阵
$\mathbf{I}$	单位阵
$\chi$	样本空间或状态空间
$D$	数据样本
$H$	假设集
$\varepsilon$	学习算法
$\left \|  \cdot \right \|_p $	$L_p$范数，缺省为2
$sup\left(\cdot \right)$	上确界
$\mathbb{I}\left( \cdot \right)$	指示函数
$sign\left( \cdot \right) $	符号函数

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

1.1 引言

机器学习：通过研究计算的手段，利用经验改善系统自身特性。从数据中学习模型.

1.2 基本术语

data set: 数据集，一组记录的集合.

instance: 示例，关于事件或者对象的描述

attribute/feature: 属性/特征，反映事物或对象在某方面的表现或者性质的事项.

attribute value: 属性的取值

attribute/sample space: 属性空间，属性张成的空间.

feature vector: 一个示例称为一个feature vector.

dimensionality: 维数，每个示例由多个d个属性描述，则称样本维度为d.

training/learning: 训练习得模型的过程

training data: 训练过程中使用的数据

training sample: 训练样本

training set: 训练样本组成的集合

hypothesis: 学习得到的模型关于数据的某种潜在规律.

ground-truth:潜在规律自身

label: 示例信息的结果信息

label space: 标记空间/输出空间

example: 拥有标记信息的示例

classification:需要预测的值为离散值

regression:需要预测的值为连续值

clustering: 聚类

supervised learning: 监督学习，分类和回归

unsupervised learning: 无监督学习，聚类

generalization:习得模型适用于新样本

distribution: 样本空间样本服从的分布

i.i.d: independent and identical distribution,独立同分布

1.3 假设空间

1. induction:归纳，特殊到一般，泛化generalization

　 deduction:演绎,一般到特殊, 特化specialization

 2. 概念学习：

1.4 归纳偏好

1. inductiive bias:算法在学习过程中对某种类型假设的偏好

2. Occam‘s razor:奥卡姆剃刀，一种常用的，自然科学研究基本原则，“若有多个假设与观察一致，则选择最简单的那个”.

3.No Free Lunch Theorem 没有免费午餐——算法优劣比较

在所有问题出现机会相同，或者所有问题同等重要的情况下，不同学习算法产生的误差相同。

1.5 发展历程