详解核方法-背景介绍白板推导系列笔记

Posted 2022-10-20

核方法相关的概念有三个Kernel Method（从思想角度）、Kernel Trick（从计算角度）、Kernel Function

核方法可以用于非线性带来的高维转换（从模型角度），对偶表示带来内积（从优化角度）

 

有时分类数据是完全不可分的，例如异或问题，即数据集为

$$

\\left((0,0),0),((1,1),0),((1,0),1),((0,1),1)\\right

$$

显然异或问题中的数据不是线性可分的，但我们可以将数据映射到高位空间来实现线性可分，因此我们需要寻找一个非线性的$\\phi(x)$将低维空间的数据$x$映射到成高维空间的数据$z$，从而实现新的数据集$\\left(z,y)\\right$线性可分

 

 

$\\phi(x)$可以是

$$

x=(x_1,x_2)\\overset\\phi(x)\\rightarrow z=(x_1,x_2,(x_1-x_2)^2)

$$

显然在新的空间中，新数据可以实现线性可分

 

在硬间隔SVM中我们将求解问题转化为凸优化问题

$$

\\left\\beginaligned&\\mathop\\textmin \\limits_\\omega,b \\frac12\\omega^T\\omega\\&s.t.y_i(\\omega^Tx_i+b)\\geq 1,i=1,2,\\cdots,N\\endaligned\\right.

$$

进而转化为其对偶问题

$$

\\left\\beginaligned&\\mathop\\textmin \\limits_\\lambda \\frac12\\sum\\limits_i=1^N\\sum\\limits_j=1^N\\lambda_i\\lambda_jy_iy_jx_ix_j-\\sum\\limits_i=1^N\\lambda_i\\

&s.t.\\lambda_i\\geq 0,\\sum\\limits_i=1^N\\lambda_iy_i=0\\endaligned\\right.

$$

如果我们把这里的原数据映射到高维空间实现线性可分，则问题转化为

$$

\\left\\beginaligned&\\mathop\\textmin \\limits_\\lambda \\frac12\\sum\\limits_i=1^N\\sum\\limits_j=1^N\\lambda_i\\lambda_jy_iy_j\\phi(x_i)^T\\phi(x_j)-\\sum\\limits_i=1^N\\lambda_i\\

&s.t.\\lambda_i\\geq 0,\\sum\\limits_i=1^N\\lambda_iy_i=0\\endaligned\\right.

$$

然而，如果我们将$x$代入$\\phi(x)$，然后计算点积$\\phi(x_i)^T\\phi(x_j)$，这个计算量是很大的，因此我们引出核函数

 

核函数的定义为

$$

\\begingathered

\\forall x,x \\in X,\\exists \\phi:x \\mapsto z\\

s.t.K(x,x)=\\phi^T(x)\\phi(x)=\\left<\\phi(x),\\phi(x)\\right>

\\endgathered

$$

这里是直接求出$\\phi(x_i)^T\\phi(x_j)$，不需要先求$\\phi(x)$，再求$\\phi(x_i)^T\\phi(x_j)$

 

 

 

关于线性可分、允许一点点错误、严格非线性三种问题解决方法

 

线性可分	一点点错误	严格非线性
PLA	Pocket Algerithm	$\\phi(x)$+PLA
Hard-Margin SVM	Soft-Margin SVM	$\\phi(x)$+Hard-Margin SVM