机器学习简单介绍

Posted 2021-02-21 wuzc

机器学习不是科幻电影。

 

机器学习目的是解放生产力。

 

---

机器学习原理

机器学习： 机器自主获取事物的规律。 

 

要让机器可以 “学习”，必须将生活中的数据（包括但不限于图像、文字、语音）数值化，将不同事物的变化和关联转化为运算。 

 

机器学习可以成立的原因是：概念和数值、关系和运算可以相互映射。

 

机器学习的种类

• 按照是否有标签划分

        1、有监督

       训练哈士奇就是典型的有监督学习，每一次的指令都是一个数据样本（Sample），被摸头（正确）和挨打（错误）就是数据样本的标签（Label），给数据样本打上标签的过程就叫做标注（Labeling）。

 

        2、无监督

        告诉机器一些特征（Features），例如：是否有角，是否长翅膀，让机器自己去 “聚类”， 这就是一次无监督的学习。

        无监督学习没有给定事先标记过的训练示例，自动对输入的数据进行分类或分群。 根据类别未知（没有被标记）的训练样本解决模式识别中的各种问题，称之为无监督学习。

 

• 按照处理问题场景划分

        1、分类和回归

        给定一个样本特征 , 我们希望预测其对应的属性值 , 如果 是离散的, 那么这就是一个分类问题，反之，如果 是连续的实数, 这就是一个回归问题。

 

        2、聚类

        如果给定一组样本特征 , 我们没有对应的属性值 , 而是想发掘这组样本在 维空间的分布, 比如分析哪些样本靠的更近，哪些样本之间离得很远, 这就是属于聚类问题。

 

---

机器学习三要素——数据、模型、算法

数据

数据 也就是源数据， 指还未转换为机器可以识别的数据样本 

 

向量空间模型（VSM, Vector Space Model）： 负责将格式（文字、图片、音频、视频）转化为一个个向量。

 

 

 

 

 

 模型

1. 模型如何得到

模型是机器学习的结果，而这个学习的过程称为训练（Train） 一个训练好的模型可以被理解成一个函数：y=f(x) 这个 y 可能是一个数值（回归），也可能是一个标签（分类）  

 

2. 什么是训练 

根据已经被指定的 f(x) 的具体形式 —— 模型类型，结合训练数据，计算出其中各个参数的具体取值的过程。 比如一个线性模型：y=f(x)=ax^2+bx+c 训练就是为了找到其中 a、b、c 的值

算法

算法 ：训练过程需要依据某种章法进行运算。这个章法，就是算法。 

损失函数（Loss Function）： 需要用一个函数来描述 y‘ 与 y 之间的差别，这个函数叫做损失函数（Loss Function） 

代价函数（Cost Function）： 损失函数针对一个训练数据，对于所有的训练数据，我们用代价函数来描述整体的损失 。

目标函数： 因为代价函数表示的是整个模型付出的代价，所以代价要越小越好。因此我们就得到了一个学习目标，就是找到目标函数。 

优化算法： 为了让 J(Θ) 达到最小就要使用优化算法。

 

---

模型构造

数据 + 算法 = 模型

1. 数据准备    

    数据预处理：收集数据、清洗数据、标注数据。     

    构建数据的向量空间模型。     

    将构建好的向量空间模型分为训练集、验证集和测试集。 

2. 训练     

    训练的核心是算法 

3. 测试     

    测试集数据 --输入--> 模型（预测结果）--> 将预测结果与原本的预期进行比较 

4. 衡量当前模型的质量 

    按照一定的规则计算模型质量的衡量指标（Precision、Recall、F1Score 等等），根据指标的数值来衡量当前模型的质量。

 

训练集、验证集和测试集

- 训练集（Train Set）：用来做训练的数据的集合。

- 验证集（Validation Set）：在训练的过程中，每个训练轮次结束后用来验证当前模型性能，为进一步优化模型提供参考的数据的集合。 

- 测试集（Test Set）：用来测试的数据的集合，用于检验最终得出的模型的性能。  

 

每个集合都应当是独立的，和另外两个没有重叠。 

其中数据量最大的是训练集，通常训练集和测试集比例为8/2或9/1或7/3。 

整体数据量不大，模型又相对简单时，验证集和测试集也可以合二为一。

 

训练的过程

1. 编写训练程序   

    - 选择模型类型；    

    - 选择优化算法；    

    - 根据模型类型和算法编写程序。 

2. 训练 -> 临时模型 

3. 在训练集上运行临时模型，获得训练集预测结果。 

4. 在验证集上运行临时模型，获得验证集预测结果。 

5. 综合参照第 3 步和第 4 步的预测结果，改进模型。 

6. 回到第 2 步，反复迭代，直到结果满意或者已经无法继续优化

 

---

模型评估

当我们训练出了一个模型以后，为了确定它的质量，我们可以用一些知道预期预测结果的数据来对其进行预测，把实际的预测结果和实际结果进行对比，以此来评判模型的优劣。

 

 分类模型评判指标： Precision、Recall 和 F1Score 

精准率：Precision=TP/(TP+FP)，即在所有被预测为 Class_A 的测试数据中，预测正确的比率。 

召回率：Recall=TP/(TP+FN)，即在所有实际为 Class_A 的测试数据中，预测正确的比率。 F1Score = 2*(Precision * Recall)/(Precision + Recall)

 

 回归模型的偏差和过拟合

对训练集样本拟合程度的角度，可以分为两类：欠拟合（Underfitting）和过拟合 （Overfitting）。

欠拟合：如果一个模型，在训练集上的预测结果就不佳，指标偏低，那一般是欠拟合的问题。 （学习的太好了，太关注局部特征）

过拟合：如果在训练集上指标很好，而在验证/测试集上指标偏低，则很可能是过拟合问题。（没有学到训练数据的普遍规律）

 

经验误差和泛化误差

 

经验误差：在训练集上的误差称为“训练误差”或“经验误差”。 （真实值和预测值的误差）

泛化误差：在测试集上的误差称为“泛化误差”。

评价策略：哪一个模型的经验误差和泛化误差上相近又小

 

回归模型的评价指标 MSE （Mean Squared Error）叫做均方误差。 

这里的y是测试集上的输出。 

用 真实值-预测值 然后平方之后求和平均。

 

---

 

 模型优化

模型的优化可以从三个方面来进行：数据、算法和模型。

数据（特征工程）

 - 对数据进行归一化（Normalization，又译作正规化、标准化）等操作。

 - 采用 Bootstrap 等采样方法处理有限的训练 / 测试数据，以达到更好的运算效果。

 - 根据业务进行特征选取：从业务角度区分输入数据包含的特征，并理解这些特征对结果的贡献。

 

调参（算法参数）

我们训练模型的目的就是为了得到模型对应公式中的若干参数。这些参数是训练过程的输出，并不需要我们来调。 除了这些参数外，还有一类被称为超参数的参数，例如用梯度下降方法学习 LR 模型时的步长（Alpha），用 BFGS 方法学习 Linear-chain CRF 时的权重（w）等。 

 

超参数是需要模型训练者自己来设置和调整的 

通过调参方法来减轻调参工作量，例如 Grid Search 等。 调参没有固定的规律可以遵循，往往有很多运气成分，但靠瞎猜基本不可能得出好的结果，还是要按一定的方法来做。

 

算法选择

1. 算法选对的，别选贵的。前沿的不一定是好的。 

2. 数据最重要，我丑话在先。