Andrew Ng机器学习笔记+Weka相关算法实现SVM和原始对偶问题

Posted 2020-10-01 gccbuaa

这篇博客主要解说了Ng的课第六、七个视频，涉及到的内容包含，函数间隔和几何间隔、最优间隔分类器 （ Optimal Margin
Classifier）、原始/对偶问题 （ Primal/Dual Problem）、 SVM 的对偶问题几个部分。

• 函数间隔和几何间隔

函数间隔（ functional margin） 与几何间隔（ geometric margin）是理解SVM的基础和前提。
如果y∈{-1,1}，而不再是0,1，我们能够将分类器函数表演示样例如以下：

这里的b參数事实上就是原来的X0，那么我们能够知道，W和B决定了一个确定的超平面。
给定一个训练样本，我们定义函数间隔：

则当y(i)=1的时候，为了使函数间隔最大，我们要使取得一个较大的正数，当y(i)=-1时。我们要使得上式取到一个非常小的负值。
接下来我们能够定义全局的函数间隔：

也就是说全局的函数间隔取决于函数间隔最小的那个样本点。
但同一时候也不难发现这里有一个问题，如果同一时候加大 w 和 b。则能够非常easy的添加函数间隔。可是这样对实际求解是没有意义的的。我们为了限制 w 和 b。须要添加归一化条件。
接下来引入几何间隔：

对于上面的图片，如果切割面上有一点B，它是A在这个切割面上的投影。这个间隔我们用γ表示，那么我们非常easy知道BA的方向事实上就是切割面的梯度方向。其单位向量是：，它的长度是1，方向和BA方向一致。那么我们如果A点的坐标是：，
这样我们不难表示出B点的坐标：

将坐标代入切割面方程
我们得到下式：

所以：

对于全局的γ，我们须要乘上类别：

这就是点到平面的几何间隔。我们不难看出，当||W||=1时。几何间隔就是函数间隔。相同我们能够定义全局几何间隔：

• 最优间隔分类器

我们的目标是寻找到一个超平面。使得这个平面与离它近期的点距离最大，而不关心其它的点到平面的距离。
形式化表演示样例如以下：

接下来的目标就是求得这个切割面的參数W和b。可是我们看到上述函数的约束条件是||W||=1。这是一个球面，典型的非凸优化问题，难以求解。我们要进行适当的变换。考虑几何间隔和函数间隔的关系：

我们能够将原问题转化为：

我们最好还是再令：
那么原问题就是求取1/||W||的最大值。也就是||W||平方的最大值，原问题进一步能够转化为以下问题：

这个问题就变成了一个典型的二次规划问题，原问题变得能够求解。

• 拉格朗日对偶

为了求解上述问题。我们先看下一种最简单的等式约束：

对于上述问题。我们一般能够用拉格朗日乘子法来求解。引入变量β：

构造出上述拉格朗日乘式子。则原问题能够通过分别对W和β求偏导数

并令偏导数为0来求解出W和β。详细的数学证明就不在此解说了，本科《微积分》都学过。
以下我们就是要将等式的情况推广到不等式，考虑到以下的求解问题：

存在不等式约束条件。依旧构造拉格朗日表达式：

由于两个表达式。我们要引入αβ两个变量。
依照之前的求解方法，这个问题求解会遇到一个非常大的问题：
由于g（W）<0，我们将α=正无穷，则表达式值变为负无穷，这样是没有意义的。因此我们必须避免这种情况，定义下式：

我们令α>0，则仅仅有 g 和 h 满足约束时。 θ(w)为 f(w)，也就是：

这样原问题求 min f(w)就等价于求minθ(w)。
我们令：

又一次定义一个函数：

并令：

则有下列关系：

也就是最小值的最大值小于或等于最大值的最小值。这个问题是原问题的对偶问题。相对于原问题仅仅是更换了 min 和 max 的顺序，在这里取等号。条件例如以下描写叙述：

①如果约束不等式 gi都是凸 （ convex）函数（线性函数都属于凸函数）
②约束等式 hi 都是仿射（ affine）函数（形如h(w)=wTx+b）
③而且存在 w使得对于全部的 i，gi(W)< 0

在这些如果下，肯定存在 ω?, α?, β?，使得ω?是原始问题的解， α?, β?是对偶问题的解，且P? = d? = L(ω?, α?, β?)。这种ω?, α?, β?须要满足 KKT（ Karush-Kuhn-Tucker）条件。 KKT条件例如以下：

如果ω?, α?, β?满足了库恩-塔克条件，那么他们就是原问题和对偶问题的解。
从上式能够看出来：
α?> 0，那么gi(w?) = 0。

满足gi(w?) = 0的w 处于可行域的边界上。这时候的W才干真正实用。内部的点，满足gi(w?) <0都是没有意义的。这就引出了SVM的支持向量的概念。