第五节：支持向量机

Posted 2021-04-26 三江渔者

简介：非常强大的分类算法。

支持向量机定义(维基百科)：

    支持向量机在高维或无限维空间中构造超平面或超平面集合，其可以用于分类、回归或其他任务。直观来说，分类边界距离最近的训练数据点越远越好，因为这样可以缩小分类器的泛化误差。

应用领域：

    1 用于文本和超文本的分类，在归纳和直推方法中都可以显著减少所需要的有类标的样本数。

    2 用于图像分类。实验结果显示：在经过三到四轮相关反馈之后，比起传统的查询优化方案，支持向量机能够获取明显更高的搜索准确度。这同样也适用于图像分割系统，比如使用Vapnik所建议的使用特权方法的修改版本SVM的那些图像分割系统。

    3 用于手写字体识别。

    4 用于医学中分类蛋白质，超过90%的化合物能够被正确分类。基于支持向量机权重的置换测试已被建议作为一种机制，用于解释的支持向量机模型。 支持向量机权重也被用来解释过去的SVM模型。 为识别模型用于进行预测的特征而对支持向量机模型做出事后解释是在生物科学中具有特殊意义的相对较新的研究领域。

距离最小化：

误差最小化：

感知器算法：

分类误差：

边际误差：

边际误差将参数（如均值或比值）估计中的随机抽样误差量进行量化。边际误差通常用在调查结果中。例如，政治选举可能会报告某位候选人的支持率为 55%，其边际误差为 5%。这意味着真实的支持率为 +/- 5%，因此支持率介于 50% 和 60% 之间。

边际误差的计算：

误差函数：即分类误差与边际误差合并起来：

C参数：超级参数，在不同情况下，调节两种误差哪一种应该占据主要位置。

多项式内容：以下的线段如何划分分类：

第一步： 一维转二维

第二步：二维回归到一维：

小测验：

三维计算：

---

核函数：

你需要完成以下步骤：

1. 构建支持向量机模型 

2. 将模型与数据进行拟合

3. 使用模型进行预测

4. 计算模型的准确率