历史上第一个机器学习算法是啥？

Posted 2023-03-19

参考技术A ‍‍

Adaboost是一种迭代算法，其核心思想是针对同一个训练集训练不同的分类器(弱分类器)，然后把这些弱分类器集合起来，构成一个更强的最终分类器(强分类器)。其算法本身是通过改变数据分布来实现的，它根据每次训练集之中每个样本的分类是否正确，以及上次的总体分类的准确率，来确定每个样本的权值。将修改过权值的新数据集送给下层分类器进行训练，最后将每次训练得到的分类器最后融合起来，作为最后的决策分类器。使用adaboost分类器可以排除一些不必要的训练数据特徵，并将关键放在关键的训练数据上面。

‍‍ 参考技术B ‍‍

贝叶斯方法，出现在神学和数学开始分离的阶段。贝叶斯本人是长老派牧师，Richard Price在1763年总结和出版贝叶斯的论文时还要附上此文旨在证明神的存在的序文[1]。而今天的贝叶斯方法融入了机器学习算法的各个领域，它将原有知识纳入学习模型，经常使计算变得简单可控。著名教科书PRML（Pattern Recognition and Machine Learning）甚至将一半的内容用在了贝叶斯方法上。无论神是否存在，当Judea Pearl将他的概率图模型命名为贝叶斯网络时，也是在向这位机器学习的祖师爷致敬吧（实际上贝叶斯网络的核心思想是条件概率，并非贝叶斯定理）。最小二乘法，出现在数学和统计学开始分离的阶段。据信最早是1799年，高斯开始将最小二乘法用在子午线弧的计算中，以将在法国四个地点的测量结果统一在一个公式下[2]。最小二乘法通过改变拟合函数的斜率和截距，以求数据到其直线距离（高级的说法叫l2模）最小。它最早将损失函数(loss function)和l2模(l2 norm)引入了统计学，而将模作为衡量损失和模型复杂度的思想，依然在是近年提出的LASSO等算法的核心。感知器算法，出现在机器学习和计算机科学、统计学开始分离的阶段。1950年代提出的感知器算法可以说是最早的“正宗”机器学习算法，它将两个最重要的概念：分类器和人工神经网络引入到了计算机科学的领域。感知器算法从数据和标签中学习到用于分类的特征，再将它应用到未知的新数据中。它和其他计算机科学分支不同，特别强调数据的作用，但另一方面又不像统计学那样注重数据的概率分布，这也注定了它成为独立学科的未来。近年来大火的深度学习，从我们相机中的人脸检测算法，到AlphaGo从棋谱中找到当前局面的算法，都是从感知器算法延伸而来。

‍‍ 参考技术C ‍‍

1.svm，支撑向量机，通过找到样本空间中的一个超平面，实现样本的分类，也可以作回归，主要用在文本分类，图像识别等领域；

2.lr，逻辑回归，本质也是线性回归，通过拟合拟合样本的某个曲线，然后使用逻辑函数进行区间缩放，但是一般用来分类，主要用在ctr预估、推荐等；

3.nn，神经网络，通过找到某种非线性模型拟合数据，主要用在图像等；

4.nb，朴素贝叶斯，通过找到样本所属于的联合分步，然后通过贝叶斯公式，计算样本的后验概率，从而进行分类，主要用来文本分类。

‍‍