支持向量机(SVM)的原理推导及解释

Posted 2021-08-29 Spuer_Tiger

文章目录

• 支持向量机(SVM)的原理推导及解释
• • 1.线性可分支持向量机(linear support vector machine in linearly separable case)
  • 2.线性支持向量机(linear support vector machine)
  • 3.非线性支持向量机(non-linear support vector machine)

支持向量机(SVM)的原理推导及解释

支持向量机的本质：选出最优的分类超平面（标准：离超平面最近距离的样本点最远的超平面）。
假定超平面方程${\mathbf{W}}^{\mathbf{T}}\mathbf{x}+\mathbf{b}=0$，则样本数据点x到该超平面的距离表示为：$|{\mathbf{W}}^{\mathbf{T}}\mathbf{x}+\mathbf{b}|$。而判断${\mathbf{W}}^{\mathbf{T}}\mathbf{x}+\mathbf{b}$与标记y符号是否一致得到分类结果：一致，分类正确；否则，分类错误。

于是，我们采用$\mathbf{y}\left({\mathbf{W}}^{\mathbf{T}}\mathbf{x}+\mathbf{b}\right)$替代$|{\mathbf{W}}^{\mathbf{T}}\mathbf{x}+\mathbf{b}|$表示样本点到超平面的距离。【当然，这里会有读者思考，如果分类错误，则$\mathbf{y}\left({\mathbf{W}}^{\mathbf{T}}\mathbf{x}+\mathbf{b}\right)$为负值，没错，我们假定所有的分类标签都是正确的->找到最优的超平面。】

函数距离${\mathbf{d}}_{\mathbf{i}}={\mathbf{y}}_{\mathbf{i}}\left({\mathbf{w}}^{\mathbf{T}}{\mathbf{x}}_{\mathbf{i}}+\mathbf{b}\right)$ (i为第i个样本点)，而样本总数据集D的函数间隔d定义为D中所有样本数据点到超平面的最小函数间隔值，$\mathbf{d}=\min {\mathbf{d}}_{\mathbf{i}}$。

但是，函数间隔也存在明显的缺点：若同比例缩放其参数向量w和偏置量b，会改变间隔d_i的取值。$\mathbf{s}\ast {\mathbf{w}}^{\mathbf{T}}\mathbf{x}+\mathbf{s}\ast \mathbf{b}=0$，${\mathbf{d}}_{\mathbf{i}}=\mathbf{s}\ast {\mathbf{y}}_{\mathbf{i}}\left({\mathbf{w}}^{\mathbf{T}}{\mathbf{x}}_{\mathbf{i}}+\mathbf{b}\right)$，超平面的方向由w决定，位置由w、x和b决定，这里超平面的方向位置不变，但是d_i却发生了变化。于是，我们引入了几何间隔：
$${\mathbf{d}}_{\mathbf{i}\_g}=\frac{{\mathbf{y}}_{\mathbf{i}}\left({\mathbf{w}}^{\mathbf{T}}{\mathbf{x}}_{\mathbf{i}}+\mathbf{b}\right)}{||\mathbf{w}||}=\frac{{\mathbf{d}}_{\mathbf{i}}}{||\mathbf{w}||}$$

1.线性可分支持向量机(linear support vector machine in linearly separable case)

• 核心：硬间隔最大化(hard margin maximization)

• 数据对象：线性可分数据

• 要求：必须所有的正例和负例分类标签正确(超平面受边界数据影响大)

• 寻找参数w和b，使得D中所有样本数据点到超平面的最小函数间隔值d最大（这里设定d=1）。

• $$\begin{gathered} \text{求解问题如下：} \\ \underset{\mathbf{w},\mathbf{b}}{\max }\frac{1}{||\mathbf{w}||} \\ \mathbf{s}.\mathbf{t}.{\mathbf{y}}_{\mathbf{i}}\left({\mathbf{w}}^{\mathbf{T}}{\mathbf{x}}_{\mathbf{i}}+\mathbf{b}\right)⩾1,\mathbf{i}=1,2....\mathbf{n} \\ \text{转换}为\text{：} \\ \underset{\mathbf{w},\mathbf{b}}{\min }\frac{1}{2}||\mathbf{w}|{|}^2 \\ \mathbf{s}.\mathbf{t}.{\mathbf{y}}_{\mathbf{i}}\left({\mathbf{w}}^{\mathbf{T}}{\mathbf{x}}_{\mathbf{i}}+\mathbf{b}\right)-1⩾0,\mathbf{i}=1,2....\mathbf{n} \end{gathered}$$

• $$\begin{gathered} \text{对于约束优化问题：} \\ \min \mathbf{f}\left(\mathbf{x}\right) \\ \mathbf{s}.\mathbf{t}.{\mathbf{g}}_{\mathbf{j}}\left(\mathbf{x}\right)⩽0,\mathbf{j}=1,2,...,\mathbf{m} \\ \text{若}\mathbf{f}\left(\mathbf{x}\right)\text{和}{\mathbf{g}}_{\mathbf{j}}\left(\mathbf{x}\right)\text{都}为\text{凸函数，则此问题}为\text{凸规划。} \end{gathered}$$

• 凸规划的性质： 1. 若给定一点 x 0 ，则集合 R = { x ∣ f ( x ) ⩽ f ( x 0 ) } 为 凸集。 2. 可行域 R = { x ∣ g j ( x ) ⩽ 0 , j = 1 , 2 , . . . , m } 为 凸集合。 3. 凸规划的任何 局 部最优解就 是 全 局 最优解。 \\text{凸规划的性质：} \\\\ 1.\\text{若给定一点}\\mathbf{x}_0\\text{，则集合}\\mathbf{R}=\\left\\{ \\mathbf{x}|\\mathbf{f}\\left( \\mathbf{x} \\right) \\leqslant \\mathbf{f}\\left( \\mathbf{x}_0 \\right) \\right\\} 为\\text{凸集。} \\\\ 2.\\text{可行域}\\mathbf{R}=\\left\\{ \\mathbf{x}|\\mathbf{g}_{\\mathbf{j}}\\left( \\mathbf{x} \\right) \\leqslant 0,\\mathbf{j}=1,2,...,\\mathbf{m} \\right\\} 为\\text{凸集合。} \\\\ 3.\\text{凸规划的任何}局\\text{部最优解就}是\\text{全}局\\text{最优解。} 凸规划的性质：1.若给定一点x0​，则集合R={x∣f(x)⩽f(x0​)}为SVM支持向量机原理及代码实现

  入门支持向量机1：图文详解SVM原理与模型数学推导

  支持向量机算法

  支持向量机

  支持向量机(SVM)基本原理

  通俗易懂的解释支持向量机