-SVM支持向量机

Posted 2022-10-08 cecilia-2019

在第二章中我们学习到感知机模型的相关知识，感知机模型是当数据线性可分时，如何利用一个超平面区分两类不同的数据。对于以上情况，支持向量机和感知机是非常相似的，两者的差别在于损失函数的不同。当线性不可分的情况下，SVM可以用核函数来实现对线性不可分的数据进行分类。

思维导图

硬间隔最大化和软间隔最大化

线性支持向量机与硬间隔最大化

所谓的硬间隔最大化，就是当选择一个超平面将两组数据进行分割开，在二维空间中，这个超平面是一条直线，每个点到该直线都会存在一个距离，使得每个点到直线的距离都比较大，因此我们选择的这个超平面就是唯一的。所有这些距离中最小的距离的点组成的平面称为支撑超平面。这些点被称为支持向量。两个支撑超平面之间的距离称为硬间隔。硬就表示硬性规定所有的点都不能在支撑超平面中间。

那么我们该如何使得间隔最大化呢？书上提到两种方式，一种是函数间隔，一种是几何间隔。最后我们选择的都是几何间隔，其中的原因又是什么呢？在此假设有一个超平面是wx+b=0，某一个实例为x0，函数间隔为|w * x0 + b|,几何间隔为|w * x0 + b|/|w|。从中可以看出，函数间隔表示的是分类预测的正确性以及确信度，如果我们成比例地改变w和b，比如改为2w和2b，此时选择的超平面没有发生改变，但是函数间隔却发生了变化，变成原来的2倍。因此，我们选择几何间隔的方式较为更好。具体过程如下：
\\[ 对偶问题： \\beginarrayll \\displaystyle \\min_\\alpha & \\displaystyle \\frac12 \\sum_i=1^N \\sum_j=1^N \\alpha_i \\alpha_j y_i y_j K(x_i, x_j)-\\sum_i=1^N \\alpha_i \\\\ \\text s.t. & \\displaystyle \\sum_i=1^N \\alpha_i y_i=0 \\\\ & 0 \\leqslant \\alpha_i \\leqslant C, \\quad i=1,2, \\cdots, N \\endarray \\\\ 决策函数： f(x)=\\operatornamesign\\left(\\sum_i=1^N \\alpha_i^* y_i K(x \\cdot x_i)+b^*\\right) \\\\ 原始形式的最优化问题：\\beginarrayll \\min & \\displaystyle \\frac12|w|^2 + C \\sum_i \\xi \\\\ \\text s.t. & y_i [w \\cdot \\phi(x)] \\geqslant 1 - \\xi_i \\\\ & \\xi_i \\geqslant 0 \\endarray\\\\ 分离超平面为:w \\cdot \\phi(x) + b = 0 \\]

线性支持向量机与软间隔最大化

一般情况下，训练数据集线性可分是理想的情况，但是在现实问题中，出现的都是线性不可分的情形，比如在样本中会出现噪点或者异常点，此时，硬间隔最大化是不可行的。那么，要求得太严格，又不好分类数据，该怎么办？此时，我们需要放送一些选择的标准，这也就是软间隔最大化。那么接下来的问题就是我们该如何修改硬间隔最大化，使之成为软间隔最大化，从而适应线性不可分的场景呢？如图所示：

从图中可以看出，软间隔最大化其实就是允许数据点出现在两个支撑超平面之间，并且加入了惩罚项，对误分类点进行惩罚，如果偏离得越远，对误分类点的惩罚度越大。

由此可以得到最优化问题：
\\[ \\beginarrayll \\displaystyle \\min_w, b, \\xi & \\displaystyle \\frac12|w|^2+C \\sumi=1^N \\xi_i \\\\ \\text s.t. & y_i\\left(w \\cdot x_i+b\\right) \\geqslant 1-\\xi_i, \\quad i=1,2, \\cdots, N \\\\ & \\xi_i \\geqslant 0, \\quad i=1,2, \\cdots, N \\endarray \\]
对偶问题：
\\[ \\beginarrayll \\displaystyle \\min_\\alpha & \\displaystyle \\frac12 \\sum_i=1^N \\sum_j=1^N \\alpha_i \\alpha_j y_i y_j (x_i \\cdot x_j )+\\sum_i=1^N \\alpha_i \\\\ \\text s.t. & \\displaystyle \\sum_i=1^N \\alpha_i y_i=0 \\\\ & 0 \\leqslant \\alpha_i \\leqslant C, \\quad i=1,2, \\cdots, N \\endarray\\最优解： w^*=\\sum_i=1^N \\alpha_i^* y_i x_i \\\\ b^*=y_j+\\sum_i=1^N y_i \\alpha_i^*(x_i \\cdot x_j) \\]

非线性支持向量机与核函数

从图中可以看出，右图是线性可分的情形，但是对于左图，确实线性不可分的情形。那么对于这种情形，我们可以添加核函数来解决线性不可分的问题。核函数可描述如下：
\\[ k(x_i,x_j)=\\phi(x_i) \\cdot \\phi(x_j) \\]
由此可以得到以下的内容：
\\[ 对偶问题： \\beginarrayll \\displaystyle \\min_\\alpha & \\displaystyle \\frac12 \\sum_i=1^N \\sum_j=1^N \\alpha_i \\alpha_j y_i y_j K(x_i, x_j)-\\sum_i=1^N \\alpha_i \\\\ \\text s.t. & \\displaystyle \\sum_i=1^N \\alpha_i y_i=0 \\\\ & 0 \\leqslant \\alpha_i \\leqslant C, \\quad i=1,2, \\cdots, N \\endarray \\\\ 决策函数： f(x)=\\operatornamesign\\left(\\sum_i=1^N \\alpha_i^* y_i K(x \\cdot x_i)+b^*\\right) \\原始形式的最优化问题：\\beginarrayll \\min & \\displaystyle \\frac12|w|^2 + C \\sum_i \\xi \\\\ \\text s.t. & y_i [w \\cdot \\phi(x)] \\geqslant 1 - \\xi_i \\\\ & \\xi_i \\geqslant 0 \\endarray\\分离超平面为:w \\cdot \\phi(x) + b = 0 \\]
对于这种情形，也存在一些缺点，就是当对于一个实际问题时，我们不知道该用什么样的曲面更好地分离数据，选择一个合适的核函数存在一个挑战，这就需要我们面对实际场景问题进行实际分析了。

相关的数学推导和例题计算

1.线性支持向量机还可以定义以下形式：
\\[ \\beginarrayll \\min & \\displaystyle(\\frac12||w||^2+C\\sum_i=1^N\\xi_i^2)\\\\\\displaystyle \\text s.t. & y_i(wx_i+b) \\geq 1- \\xi_i \\\\ \\text s.t. & \\xi_i \\geq 0 \\endarray \\]
求其对偶形式。

求解过程：

第一步：原始问题如问题可知，确定拉格朗日函数。
\\[ 假设\\alpha和\\mu是拉格朗日乘子，则拉格朗日函数为：\\\\beginarrayll L(w,b,\\xi_i,\\alpha_i,\\mu_i)=\\frac12||w||^2+C\\sum_i=1^N\\xi_i^2-\\sum_i=1^2\\alpha_i[y_i(wx_i+b)-1+\\xi_i]-\\sum_i=1^2\\mu_i\\xi_i \\\\text s.t. \\ \\alpha_i \\geq 0,\\mu_i \\geq 0 & \\displaystyle (1) \\endarray\\因此转化成：\\beginarrayll \\max_\\alpha,\\mu \\min_w,b,\\xi_i & \\displaystyle L(w,b,\\xi_i,\\alpha_i,\\mu_i) \\endarray \\]
第二步：确定对偶形式，通过求偏导找出对偶形式对拉格朗日乘子的极大。
\\[ \\nabla_w L(w,b,\\xi_i,\\alpha_i,\\mu_i) = w - \\sum_i=1^N\\alpha_iy_ix_i=0 \\\\nabla_b L(w,b,\\xi_i,\\alpha_i,\\mu_i) = - \\sum_i=1^N\\alpha_iy_i=0 \\\\nabla_\\xi_i L(w,b,\\xi_i,\\alpha_i,\\mu_i) = 2C\\xi_i - y_ix_i - \\mu_i=0 \\\\rightarrow \\ =\\left\\\\beginaligned w=\\sum_i=1^N\\alpha_iy_ix_i & & (2) \\\\sum_i=1^Ny_ix_i=0 & & (3) \\2C\\xi_i - y_ix_i - \\mu_i=0 & & (4) \\endaligned \\right. 将(2)-(4)代入L(w,b,\\xi_i,\\alpha_i,\\mu_i)中可得:\\\\min_\\alpha,\\muL(\\alpha,\\mu)=\\frac12\\sum_i=1^N\\alpha_iy_ix_i \\cdot \\sum_i=1^N\\alpha_iy_ix_i - \\sum_i=1^Ny_ix_ib +C \\cdot \\sum_i=1^N\\frac(\\alpha+\\mu)^24C^2+\\sum_i=1^N\\alpha_i-\\sum_i=1^N\\alpha_i\\xi_i-\\sum_i=1^N\\mu_i\\xi_i\\= -\\frac12\\sum_i=1^N\\sum_j=1^N\\alpha_i\\alpha_jy_iy_j(x_ix_j) + \\sum_i=1^N\\frac(\\alpha+\\mu)^24C^2 + \\sum_i=1^N\\alpha_i-\\sum_i=1^N\\alpha_i\\frac\\alpha+\\mu_i2C-\\sum_i=1^N\\mu_i\\frac\\alpha+\\mu_i2C\\= -\\frac12\\sum_i=1^N\\sum_j=1^N\\alpha_i\\alpha_jy_iy_j(x_ix_j) + \\sum_i=1^N\\alpha_i - \\sum_i=1^N\\frac(\\alpha+\\mu)^24C^2\\s.t. \\ \\alpha_i* \\geq 0\\s.t. \\ \\mu_i* \\geq 0 \\]
第三步：根据KKT条件可确定结果。
\\[ \\left\\\\beginaligned \\alpha_i^*[y_i(w^*x_i+b^*)-1+\\xi_i^*]=0 \\\\mu_i^*\\xi_i^*=0 \\\\xi_i^* \\geq 0 \\\\alpha_i^* \\geq 0\\\\mu_i^* \\geq 0 \\endaligned \\right.\\=又因\\left\\\\beginaligned \\alpha_i^* > 0\\\\mu_i^* > 0 \\endaligned \\right.\\\\therefore =>\\left\\\\beginaligned \\alpha_i^*[y_i(w^*x_i+b^*)-1+\\xi_i^*]=0\\\\mu_i^* = 0 \\endaligned \\right. \\\\therefore => \\left\\\\beginaligned \\alpha_i^*[y_i(w^*x_i+b^*)-1]=0\\y_i=w^*x_i+b^* \\\\ b^*= y_i-w^*x_i^* \\endaligned \\right. \\]

\\[ 2.已知数据集D中，正实例点(Y=1)是x_1=(1,2)^T,x_2=(2,3)^T,x_3=(3,3)^T,\\\\负实例点是x_4=(2,1)^T,x_5=(3,2)^T。\\试求最大间隔分类超平面和分类决策函数。 \\]

解：根据实例点，分析可知，该数据集是线性可分的。

第一步：确定原始问题形式和对偶形式。
\\[ 原始问题：\\\\ \\min_w,b \\frac12||w||^2 \\\\ s.t. \\ y_i(wx_i+b)-1 \\geq 0,i=1,2,3,4,5\\\\ 对偶问题：\\\\ L(\\alpha)=\\min_\\alpha \\frac12\\sum_i=1^N\\sum_j=1^N\\alpha_i\\alpha_jy_iy_j(x_ix_j) + \\sum_i=1^N\\alpha_i\\\\ s.t. \\ \\alpha_i* \\geq 0,i=1,2,3,4,5\\\\]
第二步：由上式可代入实例点计算。
\\[ \\left\\\\beginaligned L(\\alpha)= \\frac12\\alpha_1\\alpha_1y_1y_1(x_1 \\cdot x_1)+\\frac12\\alpha_1\\alpha_2y_1y_2(x_1 \\cdot x_2) +\\frac12\\alpha_3\\alpha_1y_3y_1(x_1 \\cdot x_3) \\\\+ \\frac12\\alpha_1\\alpha_4y_1y_4(x_1 \\cdot x_4)+\\frac12\\alpha_1\\alpha_5y_1y_5(x_1 \\cdot x_5)\\\\+\\frac12\\alpha_2\\alpha_1y_2y_1(x_2 \\cdot x_1)+\\frac12\\alpha_2\\alpha_2y_1y_2(x_2 \\cdot x_2) +\\frac12\\alpha_2\\alpha_3y_2y_3(x_2 \\cdot x_3) \\\\+ \\frac12\\alpha_2\\alpha_4y_2y_4(x_2 \\cdot x_4)+\\frac12\\alpha_2\\alpha_5y_2y_5(x_2 \\cdot x_5)+\\\\...\\\\ +\\frac12\\alpha_5\\alpha_1y_5y_1(x_5 \\cdot x_1)+\\frac12\\alpha_5\\alpha_2y_5y_2(x_5 \\cdot x_2) +\\frac12\\alpha_5\\alpha_1y_5y_1(x_5 \\cdot x_3) \\\\+ \\frac12\\alpha_5\\alpha_4y_5y_4(x_5 \\cdot x_4)+\\frac12\\alpha_5\\alpha_5y_5y_5(x_5 \\cdot x_5)\\\\ = \\frac52\\alpha_1+\\frac132\\alpha_2^2+9\\alpha_3^2+\\frac52\\alpha_4^2+\\frac132\\alpha_5^2\\\\+8\\alpha_1\\alpha_2+9\\alpha_2\\alpha_3-4\\alpha1_1\\alpha_4-7\\alpha_1\\alpha_5\\\\+15\\alpha_2\\alpha_3-7\\alpha_2\\alpha_4-12\\alpha_2\\alpha_5\\\\-9\\alpha_3\\alpha_4-15\\alpha_3\\alpha_5+8\\alpha_4\\alpha_5\\\\-\\alpha_1-\\alpha_2-\\alpha_3-\\alpha_4-\\alpha_5 \\ ..........(1)\\\\ \\alpha_1y_1+\\alpha_2y_2+\\alpha_3y_3+\\alpha_4y_4+\\alpha_5y_5=0\\ ..........(2) \\endaligned \\right.\\\\]
第二步：求偏导。
\\[ 联立上述(1)(2)并分别对：\\\\ \\nabla_\\alpha_1L(\\alpha)=5\\alpha_1+13(\\alpha_1+\\alpha_2+\\alpha_3-\\alpha_4-\\alpha_5)+8\\alpha_2+9\\alpha_3-4\\alpha_4\\\\-14\\alpha_1-7(\\alpha_2+\\alpha_3-\\alpha_4)-12\\alpha_2-15\\alpha_3+8\\alpha_4-2=0 \\\\ =>4\\alpha_1+2\\alpha_2-2\\alpha_4-2=0...........................(1)\\\\ \\nabla_\\alpha_2L(\\alpha)=2\\alpha_1+2\\alpha_2+\\alpha_3-2=0.........................................(2)\\\\ \\nabla_\\alpha_3L(\\alpha)=2\\alpha_2+\\alpha_3+\\alpha_4-2=0.........................................(3)\\\\ \\nabla_\\alpha_4L(\\alpha)=-2\\alpha_1+\\alpha_3+2\\alpha_4=0.........................................(4)\\\\ \\rightarrow \\ =\\left\\\\beginaligned 4\\alpha_11+2\\alpha_2-2\\alpha_4-2=0 \\\\ 2\\alpha_1+2\\alpha_2+\\alpha_3-2=0 \\\\ 2\\alpha_2+\\alpha_3+\\alpha_4-2=0\\\\ -2\\alpha_1+\\alpha_3+2\\alpha_4=0 \\endaligned \\right.\\\\]
第三步：根据KKT条件求解。
\\[ 首先比较容易求解出\\alpha_2=0。\\\\ \\rightarrow \\ =\\left\\\\beginaligned 2\\alpha_1-\\alpha_4-1=0 \\\\ \\alpha_3+\\alpha_4-2=0 \\\\ 2\\alpha_2+\\alpha_3+\\alpha_4-2=0\\\\ -2\\alpha_1+\\alpha_3+2\\alpha_4=0 \\endaligned \\right.\\\\ 因此可得到:\\\\ \\beginarrayll \\displaystyle ①\\left\\\\beginaligned \\alpha_2=0 \\\\ \\alpha_1=0 \\endaligned \\right. & \\displaystyle ②\\left\\\\beginaligned \\alpha_2=0 \\\\ \\alpha_3=0 \\endaligned \\right. & \\displaystyle ③\\left\\\\beginaligned \\alpha_2=0 \\\\ \\alpha_1=0 \\endaligned \\right.\\endarray\\\\ 当①计算出\\alpha_4=-2,不符合条件，因此舍去。\\\\ 因此可以使用边界最小值可求得:\\\\ \\beginarrayll \\displaystyle ①\\left\\\\beginaligned \\alpha_1=\\alpha_2=\\alpha_4=0 \\\\ \\alpha_3=\\alpha_5=2 \\endaligned \\right. & \\displaystyle ②\\left\\\\beginaligned \\alpha_2=\\alpha_3=\\alpha_5=0 \\\\ \\alpha_1=\\alpha_4=1 \\endaligned \\right. & \\displaystyle ③\\left\\\\beginaligned \\alpha_2=\\alpha_4=0 \\\\ \\alpha_1=\\frac12\\\\ \\alpha_3=2\\\\ \\alpha_5=\\frac52 \\endaligned \\right.\\endarray\\\\ \\rightarrow \\ \\beginarrayll \\displaystyle ①可得：L_1=-2\\\\ \\displaystyle ②可得：L_1=-1\\\\ \\displaystyle ③可得：L_1=-\\frac52 \\endarray\\\\ 因此，L最小为-\\frac52，此时\\alpha^*=(\\frac12,0,3,0,\\frac52).\\\\ \\therefore w^*=\\sum_i=1^N\\alpha^*y_ix_i=(-1,2)\\\\ \\therefore \\alpha_1=\\frac12,b^*=y_i-w^* \\cdot x_i=-2\\\\ \\therefore \\left\\\\beginaligned 分离超平面为：-x^(1)+2x^(2)-2=0 \\\\ 间隔边界正实例为：-x^(1)+2x^(2)-2=1\\\\ 间隔边界负实例为：-x^(1)+2x^(2)-2=-1 \\endaligned \\right. \\]

序列最小化最优化算法（Sequential Minimal Optimization-SMO）

\\[ 对偶问题：\\beginarrayll \\displaystyle \\min *\\alpha & \\displaystyle \\frac12 \\sum*i=1^N \\sum_j=1^N \\alpha_i \\alpha_j y_i y_j K(x_i, x_j)-\\sum_i=1^N \\alpha_i \\\\ \\text s.t. & \\displaystyle \\sum_i=1^N \\alpha_i y_i=0 \\\\ & 0 \\leqslant \\alpha_i \\leqslant C, \\quad i=1,2, \\cdots, N \\endarray \\\\ 需要优化的变量是\\alpha_i有N个，当数据量很大的时候，需要优化的变量非常多，很难计算，\\\\所以不优化所有的变量，每一次优化其中的一部分变量。在该算法中，每次优化两个变量。 \\]

Python代码实现

利用编程实现：

\\[ 已知数据集D中，正实例点(Y=1)是x_1=(1,2)^T,x_2=(2,3)^T,x_3=(3,3)^T,\\\\负实例点是x_4=(2,1)^T,x_5=(3,2)^T。 \\]

自编程实现

"""构造L(a,b,c,d)表达式,e=a+b+c-d"""


def creat(co, X, y, a, b, c, d, e):
    L_0 = co * X * y
    L_1 = L_0.sum(axis=0)
    L = np.dot(L_1, L_1) / 2 - co.sum()
    # 将e=a+b+c-d代入，化简整理
    L = expand(L.subs(e, a + b + c - d))
    return L


"""若L无解，则从L的多个边界求解"""


def _find_submin(L, num):
    if num.shape[0] == 1:
        return None
    else:
        res = []
        for i in range(num.shape[0]):
            L_child = L.subs(num[i]: 0)
            num_child = np.delete(num, i, axis=0)
            res.append(_find_min(L_child, num_child))
        return res


"""判断方程是否有唯一不小于0且不全为0的实数解"""


def _judge(res):
    for s in res.values():
        try:
            if float(s) < 0:
                return False
        except:
            return False
    return True if sum(res.values()) != 0 else False


"""求解所有可能的极值点，若极值不存在或不在可行域内取到，则在边界寻找极值点"""


def _find_min(L, num):
    pro_res = []
    res = solve(diff(L, num), list(num))
    # 方程有解
    if res:
        # 方程有唯一不小于0且不全为0的实数解
        if _judge(res):
            pro_res.append(res)
            return pro_res
        # 方程有无数组解，到子边界寻找极值点
        else:
            value = _find_submin(L, num)
            pro_res.append(value)
    # 方程无解，到子边界寻找极值点
    else:
        value = _find_submin(L, num)
        pro_res.append(value)
    return pro_res


"""将所有结果排列整齐"""


def reset(res):
    if not isinstance(res[0], list):
        if res[0]:
            res_list.append(res[0])
    else:
        for i in res:
            reset(i)


"""求解极小值点"""


def find_min(L, num, a, b, c, d, e):
    # 求解所有可能的极小值点
    results = _find_min(L, num)
    reset(results)
    L_min = float("inf")
    res = None
    # 在所有边界最小值中选取使得L(a,b,c,d)最小的点
    for i in res_list:
        d_i = dict()
        for j in [a, b, c, d]:
            d_i[j] = i.get(j, 0)
        result = L.subs(d_i)
        if result < L_min:
            L_min = result
            res = d_i
    # 将e 计算出来并添加到res中
    res[e] = res[a] + res[b] + res[c] - res[d]
    return res


"""计算 w b"""


def calculate_w_b(X, y, res):
    alpha = np.array([[i] for i in res.values()])
    w = (alpha * X * y).sum(axis=0)
    for i in range(alpha.shape[0]):
        if alpha[i]:
            b = y[i] - w.dot(X[i])
            break
    return w, b


"""绘制样本点、分离超平面和间隔边界"""


def draw(X, y, w, b):
    y = np.array([y[i][0] for i in range(y.shape[0])])
    X_po = X[np.where(y == 1)]
    X_ne = X[np.where(y == -1)]
    x_1 = X_po[:, 0]
    y_1 = X_po[:, 1]
    x_2 = X_ne[:, 0]
    y_2 = X_ne[:, 1]
    plt.plot(x_1, y_1, "ro")
    plt.plot(x_2, y_2, "gx")
    x = np.array([0, 3])
    y = (-b - w[0] * x) / w[1]
    y_po = (1 - b - w[0] * x) / w[1]
    y_ne = (-1 - b - w[0] * x) / w[1]
    plt.plot(x, y, "r-")
    plt.plot(x, y_po, "b-")
    plt.plot(x, y_ne, "b-")
    plt.show()


def main():
    # 构建目标函数L(a,b,c,d,e)
    a, b, c, d, e = symbols("a,b,c,d,e")
    X = np.array([[1, 2],
                  [2, 3],
                  [3, 3],
                  [2, 1],
                  [3, 2]])
    y = np.array([[1], [1], [1], [-1], [-1]])
    co = np.array([[a], [b], [c], [d], [e]])
    L = creat(co, X, y, a, b, c, d, e)
    num = np.array([a, b, c, d])
    # 求解极小值点
    global res_list
    res_list = []
    res = find_min(L, num, a, b, c, d, e)
    # 求w b
    w, b = calculate_w_b(X, y, res)
    print("w", w)
    print("b", b)
    # 绘制样本点、分离超平面和间隔边界
    draw(X, y, w, b)

SKlearn库实现

def draw(X,y,w,b):
    y=np.array([y[i] for i in range(y.shape[0])])
    X_po=X[np.where(y==1)]
    X_ne=X[np.where(y==-1)]
    x_1=X_po[:,0]
    y_1=X_po[:,1]
    x_2=X_ne[:,0]
    y_2=X_ne[:,1]
    plt.plot(x_1,y_1,"ro")
    plt.plot(x_2,y_2,"gx")
    x=np.array([0,3])
    y=(-b-w[0]*x)/w[1]
    y_po=(1-b-w[0]*x)/w[1]
    y_ne=(-1-b-w[0]*x)/w[1]
    plt.plot(x,y,"r-")
    plt.plot(x,y_po,"b-")
    plt.plot(x,y_ne,"b-")
    plt.savefig('svm.jpg')
    plt.show()

def main():
    X=np.array([[1,2],
                [2,3],
                [3,3],
                [2,1],
                [3,2]])
    y=np.array([1,1,1,-1,-1])
    clf=SVC(C=0.5,kernel="linear")
    clf.fit(X,y)
    w=clf.coef_[0]
    b=clf.intercept_
    print(clf.support_vectors_)
    print(w,b)
    print(clf.predict([[5,6],[-1,-1]]))
    print(clf.score(X,y))
    draw(X,y,w,b)

实现结果：