SVM用于线性回归

Posted 2021-01-15 kexinxin

SVM用于线性回归

方法分析

在样本数据集（）中，不是简单的离散值，而是连续值。如在线性回归中，预测房价。与线性回归类型，目标函数是正则平方误差函数：

在SVM回归算法中，目的是训练出超平面，采用作为预测值。为了获得稀疏解，即计算超平面参数w,b不依靠所有样本数据，而是部分数据（如在SVM分类算法中，支持向量的定义），采用误差函数

误差函数定义为，如果预测值与真实值的差值小于阈值将不对此样本做惩罚，若超出阈值，惩罚量为。

下图为误差函数与平方误差函数的图形

目标函数

观察上述的误差函数的形式，可以看到，实际形成了一个类似管道的样子，在管道中样本点，不做惩罚，所以被称为,如下图阴影红色部分

用替代平方误差项，因此可以定义最小化误差函数作为优化目标：

由于上述目标函数含有绝对值项不可微。我们可以转化成一个约束优化问题，常用的方法是为每一个样本数据定义两个松弛变量,表示度量与的距离。

如上图所示：

当样本点真实值位于管道上方时，写成表达式：时，

当样本点真实值位于管道下方时，写成表达式：时，

因此使得每个样本点位于管道内部的条件为：

当位于管道上方时，，有

当位于管道下方时，，有

误差函数可以写成为一个凸二次优化问题：

约束条件为：

写成拉格朗日函数：

对偶问题

上述问题为极小极大问题

与SVM分类分析方法一样，改写成对偶问题

首先求偏导数

超平面计算

Support Vector Machine - Regression (SVR)

Support Vector Machine can also be used as a regression method, maintaining all the main features that characterize the algorithm (maximal margin). The Support Vector Regression (SVR) uses the same principles as the SVM for classification, with only a few minor differences. First of all, because output is a real number it becomes very difficult to predict the information at hand, which has infinite possibilities. In the case of regression, a margin of tolerance (epsilon) is set in approximation to the SVM which would have already requested from the problem. But besides this fact, there is also a more complicated reason, the algorithm is more complicated therefore to be taken in consideration. However, the main idea is always the same: to minimize error, individualizing the hyperplane which maximizes the margin, keeping in mind that part of the error is tolerated. 

Linear SVR

Non-linear SVR

The kernel functions transform the data into a higher dimensional feature space to make it possible to perfom the linear separation

Kernel functions