1. 机器学习简介

Posted 2022-10-23 starrow

1. 机器学习简介

机器学习是一个充满科幻感的词，会让人想到一台能够学习说话、跳舞和下棋的聪明的机器。然而正如家里会四处移动扫地的圆盘和工厂里组装汽车的机械臂被称为机器人，机器学习大部分研究的问题和应用比起我们想象中的智能机器人要低调和朴实得多。实际上，机器学习并不是一门近期诞生和独立发展起来的学科，现在被纳入该学科的许多知识和成果都来自统计学、最优化理论、数据挖掘、模式识别、自动控制等诸多理论和应用学科的积累。换言之，机器学习是作为一门交叉学科逐渐确立起自己的身份的。那么作为本书讨论的主题，机器学习的含义是什么？我们采用1997年由Tom Mitchell提出的经典定义：假如在某项任务中，一个主体以某种方式衡量的表现，随着经验积累进步了，就称该主体进行了学习。这个定义包含学习的三个要件：

1. 特定的任务，如识别手写文字、购物篮分析。这是目前的机器学习与人类学习的重要分野。任何机器学习的模型都仅针对某项或最多某类任务有效，而人类的学习能力是通用而不囿于具体任务的。
2. 评估表现的标准和依据，称为评价指标[[1]]。只有采用某种评价指标将主体的表现定量化，才能精确判断主体是否取得进步并且比较不同主体的水平。例如，识别文字的评价指标是准确率，购物篮分析的评价指标是所得关联规则的支持度和置信度。针对某项任务，主体的表现可以从多个角度衡量，相应地也可以设定不同的评价指标。
3. 经验。主体的表现随着经验积累而进步，所以这样的学习又被称为归纳式学习（Inductive learning），在学习过程中体现为训练数据和时间的重要性。

容易看出，这个定义很宽泛，它对学习的内容和方式没有任何限定，所以信息检索、图像识别、趋势分析、自动驾驶、下棋等貌似不相干的领域都可以用机器学习的视角来分析。整个机器学习的理论根据任务的性质和学习的目标可以分为三种不同的范式，下面分别进行介绍。

 

---

[1] 英文文献中表示该概念的术语很多，常见的有Performance measure/metric、Evaluation/assessment measure/metric。将Performance measure直译为性能度量并不准确通顺。Performance指的是主体在完成某项任务时表现出的水平，measure作为名词指的是用于评估表现的可以度量和比较的某种指标。本书根据中文词语含义的细微差别，对模型用评价（对表现的主体做出总体的评价），对表现用评估（依据某种标准对表现做出定量的评估），对误差用估量（对已经定量的误差进行估量）。