Convex Sets and Convex functions

Posted 2022-11-29 大饼博士X

tags:

篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了Convex Sets and Convex functions相关的知识，希望对你有一定的参考价值。

文章目录

第3章 Convex Sets and Convex functions
Convex Function
参考资料

第3章 Convex Sets and Convex functions

凸优化问题的定义

凸集的定义：

定义：给定一个集合 $\\subseteq \\mathbbR^n$ ,满足下列条件则称为凸集： $\\in C \\Rightarrow tx+(1-t)y \\in C$ 对于任意的 $0 \leq t \leq 1$

直观上看，可以利用下图帮助理解，假定我们的变量在二维空间中，x,y为二维空间变量，黑体线代表的向量为tx+(1−t)y，t取值范围为[0,1]，那么无论t怎么变化，向量tx+(1−t)y总会落在x和y张成的集合空间中。[3]

那么从定义出发，我们也能知道非凸集的情况，下图左侧为凸集，右图为非凸集。一句话来概括凸集就是集合内任意两点间连线依旧在集合内。

convex hull（凸包）定义：

给定集合内的任意k个元素 $x_1,...,x_k \\in \\mathbbR^n$ ,任意的线性组合形式： $\\theta_1 x_1+...+\\theta_k x_k,\\theta_i \\geq 0, \\sum_i=1^k\\theta_i=1$ ，称之为集合的convex hull,表示为 $c o n v (C)$ 。convex hull总是凸的。可以直观认为凸包就是最外围的元素所围成的集合外壳，下图是两个凸包的例子：

一些凸集的examples：

锥（Cone）和凸锥（Convex Cone）的定义

范数锥(Norm cone): $\\left \\(x,t):||x|| \\leq t \\right \\$ ，对于一范数和二范数成立。下图取定不同的t做出了三维情况下的图

（讨论：这里我感觉用字母 $t$ 有一些歧义，和上面定义中的 $t$ 不是一个含义。范数锥中的 $t$ 是定义域中的一个维度变量；而上面锥定义中的 $t$ 是表示一个常数）：

凸集的性质：

可分离超平面理论（Separating hyperplane theorem）：两个不相交的凸集总存在一个超平面能将两者分离，如果 $C ⋂ D = \emptyset$ ,那么总存在着a,b使得有: $\\subseteq \\left \\x:a^Tx \\leq b \\right \\$ ， $\\subseteq \\left \\x:a^Tx \\geq b \\right \\$

支撑超平面理论(Supporting hyperplane theorem):凸集边界上的一点必然存在一个支撑超平面穿过该点，即如果C都是非空凸集，
$x_0 \\in bound(C)$ ，那么必然存在一个超平面a，使得, $\\subseteq \\left \\x:a^Tx \\leq a^T x_0 \\right \\$ 。如下图：

保凸操作：

（上面是 $f^-1(D)$ ，因为借用了[3]的截图，就不重新打了。）

一个例子：

这一章都是一些概念，看的有点晕，哈哈。下面看一下一个证明的例子：

给定一系列的 $n\\times n$ 的对称矩阵，有一种线性矩阵不等式如下，其中 $\\in R^k$ 。证明： $x$ 组成的集合C是凸集。

证明过程思路上面写了：只要根据前面提过的凸集定义去证明就行了。如果有 $\\in C$ ，只要证明 $\\in C$ ，
其中 $0\\leq t \\leq 1$ ，就可以了。根据题目，我们可以知道：
$tv^T B v - \\sum_i=1^ktx_iv^TA_i v \\geq 0 \\\\ (1-t)v^T B v - \\sum_i=1^k(1-t)y_iv^TA_i v \\geq 0$

然后我们可以推出

$v^T \\left(B - \\sum_i=1^k(tx_i + (1-t)y_i)A_i \\right) v \\\\ = v^T B v - \\sum_i=1^k(tx_i + (1-t)y_i)v^TA_i v \\\\ = (t + (1-t))v^T B v - \\sum_i=1^k(tx_i + (1-t)y_i)v^TA_i v \\geq 0\\\\$