最优化所需基础知识-第五节：分离超平面定理

Posted 2022-11-12 快乐江湖

文章目录

• 一：分离超平面定理
• 二：严格分离定理
• 三：支撑超平面
• 四：支撑超平面定理

一：分离超平面定理

分离超平面定理：如果$C$和$D$是不相交的凸集，则存在非零向量$a$和常数$b$，使得

$$a^{T}x\le b,\forall x\in C$$

且

$$a^{T}x\ge b,\forall x\in D$$

也即超平面$x|a^{T}x=b$分离了$C$和$D$

下图是${\mathbb{R}}^2$中的2个凸集，可以使用超平面划分

超平面分离定理表明，如果要软划分${\mathbb{R}}^n$中的2个凸集，则只需要求得一个适当的超平面即可，这在分类问题中属于很容易解决的问题。实际上，如果有任何一个集合不是凸集，则定理一般不成立，此时如果我们要划分不同的集合，就需要使用更加复杂的平面

比如下图是${\mathbb{R}}^2$中的2个集合，其中$D$不是凸集，所以无法使用超平面对其划分，而必须使用更加复杂的平面

二：严格分离定理

• 分离超平面定理表明若集合仅是凸集，则定理中等号可能成立，也即某一凸集与超平面相交。 但很多时候我们要求超平面与任何凸集都不交，为此需要加强定理的条件

严格分离定理：如果$C$和$D$是不相交的凸集，且$C$是闭集$D$是紧集，则存在非零向量$a$和常数$b$，使得

• 闭集：界点都是集合中某子系列的极限点，且属于本集合

• 紧集：集合中任何子系列的极限点都属于本集合（这些极限点可能是内点，也可能是界点）

$$a^{T}x<b,\forall x\in C$$

且

$$a^{T}x>b,\forall x\in D$$

也即超平面$x|a^{T}x=b$严格分离了$C$和$D$

三：支撑超平面

支撑超平面：给定集和$C$以及边界上的点$x_0$，如果$a\ne 0$满足$a^{T}x\le a^T{x}_0,\forall x\in C$，那么称集合

$$x|a^{T}x=a^T{x}_0$$

为$C$在边界点$x_0$处的支撑超平面

如下图，从几何上解释是：超平面$x|a^{T}x=a^T{x}_0$与$C$相切于点$x_0$，而且半空间$x|a^{T}x\le a^T{x}_0$包含于$C$

四：支撑超平面定理

支撑超平面定理：若$C$是凸集，则$C$的任意边界点处都存在支撑超平面。从几何上的解释是：给定一个平面后，可以把凸集边界上的任意一点当成支撑点，然后将凸集放在该平面上