支持向量机介绍

Posted 2021-04-26 区块链技术汇

支持向量机

支持向量机 (SVM) 算法根据输入的训练数据，输出不同类别之间的最佳分离线。 这种分离线在多维环境中被称为“超平面”(hyperplane)。 SVM 考虑距离另一个类别非常近的异常点，从而得出这个具有分离作用的超平面。 在使用该超平面构造模型后，要预测的任何新点都会检查该值位于超平面的哪一侧。

即使在二维空间中，如果点的分布没有明显区别，那么构造类别之间的这种分离线有时也会非常棘手。 同样，当用于描述某个数据点的特征有多个时，那么构造分离线也是一个复杂的过程。 对于数据无法线性分离的这些多维空间，我们将其映射到更高维的空间，以便创建这种分离。 可通过应用核函数来映射到更高维的空间。 核函数有多种类型，最常见的就是多项式核函数和高斯径向基函数 (RBF)。 获得这个分离平面后，将数据映射回其原始维度。 关于该点的预测，只是为了判断该点位于这个平面内部还是外部。

以下代码片段显示了有关如何使用 scikit-learn 中的库来创建和预测 SVM 模型的示例。 将 kernel 值设置为“rbf”以生成超平面。

在分析预测的输出列表时，我们会看到该模型的准确率为 95%。 同时还显示了实际值和预测值的比较图。

决策树

基于决策树的模型使用训练数据来生成用于预测输出的规则。 例如，假设问题陈述是“确定今天是否可以打网球”。 根据训练数据中的值，模型会形成一个决策树。 生成的模型可以使用以下规则构造决策树。

1. 首先，查看“天气预报”列。 如果是阴天，则绝对不去。
2. 但如果天气湿热，则不去。
3. 如果是正常的晴天，则去。
4. 如果刮风下雨，则不去。
5. 如果下雨但不刮风，则去。

集成学习

集成学习是一种机器学习算法，它将多个算法组合起来以生成更好的模型。 如果重复两个或更多个相同算法来实现此目的，则称为同质集成（homogenous ensemble）算法。 如果将不同算法组合起来，则称为异质集成（heterogenous ensemble）算法。 在本部分中，我们将探究如何将基于决策树的模型整合到随机森林和梯度提升树中以便获得更高的准确率。