凸优化1 基本概念

Posted shenhaojing

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了凸优化1 基本概念相关的知识,希望对你有一定的参考价值。

前言

本文主要记录在凸优化中几个比较基础的概念:凸集、仿射集、凸包、锥、锥包。

仿射集(affine sets)

回顾一下直线与线段的定义。
对于

\\[x_1 \\not = x_2 \\in R^n, \\theta \\in R\\]

则直线可以表示为:
\\[y = \\theta x_1 + (1-\\theta)x_2\\]
类似的,对\\(\\theta\\)加一点限制,就可以导出线段的定义:
\\[y = \\theta x_1 + (1-\\theta)x_2, \\theta \\in R, \\theta \\in [0,1]\\]

有了直线的概念后,下面定义仿射集:

  • 仿射集:一个集合\\(C\\)是仿射集,若\\(\\forall x_1,x_2 \\in C\\),则连接\\(x_1\\)\\(x_2\\)的直线也在集合内。

用数学的语言来描述的话就是:

  • 仿射集:设\\(x_1, ..., x_k \\in C, \\theta_1, ..., \\theta_k \\in R, \\theta_1 + ... + \\theta_k = 1\\),如果集合\\(C\\)是仿射集,当且仅当\\(\\theta_1 x_1 + ... + \\theta_k x_k \\in C\\)

我们把 \\(\\theta_1 x_1 + ... + \\theta_k x_k\\)叫做仿射组合。

与C相关的子空间

下面讲一下仿射集的一些性质。根据上面的定义,若\\(x_1, x_2 \\in C\\), \\(C\\)是仿射集,则\\(\\theta x_1 + (1-\\theta) x_2 \\in C\\),其中\\(\\theta \\in R\\)。那么问,\\(\\alpha x_1 + \\beta x_2\\)是否属于\\(C\\)呢?

如下图所示,当直线不经过原点时,显然\\(\\alpha x_1 + \\beta x_2 \\not \\in C\\),当直线经过原点时,就有\\(\\alpha x_1 + \\beta x_2 \\in C\\)

技术图片

我们定义:\\(V = C - v_0 = \\x-x_0|x \\in C\\, \\forall x_0 \\in C\\)
\\(V\\)为与\\(C\\)相关的子空间。我们可以理解成\\(V\\)\\(C\\)平移\\(v_0\\)得到的一个字空间。


证:
\\[\\forall v_1, v_2 \\in C, \\forall \\alpha, \\beta \\in R\\]
因为\\(v_1 + v_0 \\in C, v_2 + x_0 \\in C, x_0 \\in C\\), 所以:
\\[\\alpha (v_1+x_0) + \\beta (v_2+x_0) + (1-\\alpha - \\beta) x_0 \\in C\\]

\\[\\alpha v_1 + \\beta v_2 + x_0 \\in C\\]
此时就有:
\\[\\alpha v_1 + \\beta v_2 \\in V\\]


一个例子

  • 线性方程组的解集是仿射集
    \\[C = \\x|AX=b\\, A \\in R^m \\times n, b \\in R^m, x \\in R^n\\]

\\(C\\)相关的子空间\\(V=\\x - x_0| x \\in C\\, \\forall x_0 \\in C\\) 恰好也是矩阵\\(A\\)的零空间。


仿射包

对于任意一个集合\\(C\\),是否可以构造出其最小的仿射集。如果可以,这个最小的仿射集就叫做仿射包

  • 仿射包:\\(aff\\ C = \\\\theta_1 x_1 + ... + \\theta_k x_k | \\forall x_1,...,x_k \\in C, \\theta_1+\\theta_2+...+\\theta_k = 1\\\\)

  • 仿射集的仿射包就是它本身。

凸集 Convex Set

  • 一个集合是凸集,即当任意两点之间的线段任然在\\(C\\)
  • 用数学表达的话就是:\\(\\forall x_1, x_2 \\in C, \\forall \\theta, \\theta \\in [0,1], \\theta x_1 + (1-\\theta) x_2 \\in C\\)

\\(x_1, ..., x_k\\)的凸组合

\\(x_1, ..., x_k\\)的凸组合表示为:

\\[\\theta_1 x_1 + \\theta_2 x_2 + ... + \\theta_k x_k \\in C\\]
\\[\\theta_1, ... ,\\theta_k \\in R, \\theta_1+...+\\theta_k = 1\\]
\\[ \\theta_1,...,\\theta_k \\in [0,1]\\]

  • \\(C\\)为凸集等价于任意\\(C\\)的凸组合也在\\(C\\)内。

凸包

对任意集合\\(C \\in R^n\\),它的凸包记作:
\\[Cov C = \\\\theta_1 x_1 + ..., + \\theta_k x_k | \\forall x1, ..., x_k \\in C, \\forall \\theta_1,...\\theta_k \\in [0,1], \\theta_1+...+\\theta_k=1\\\\]

锥 Cone 和 凸锥 Convex Cone

  • \\(C\\)是锥等价于 \\(\\forall x \\in C, \\theta > 0\\),有\\(\\theta x \\in C\\)
  • \\(C\\)是凸锥等价于 \\(\\forall x_1, x_2 \\in C, \\theta_1, \\theta_2 \\geq 0\\),有\\(\\theta_1 x_1 + \\theta_2 x_2 \\in C\\)

凸锥的组合

\\[\\theta_1 x_1 + ... + \\theta_k x_k, \\theta_1,...,\\theta_k \\geq 0\\]

凸锥包

\\[x_1,...,x_k \\in C, \\\\theta_1 x_1 + ... + \\theta_k x_k | x_1,...,x_k \\in C, \\theta_1,...,\\theta_k \\geq 0\\\\]

总结

  • 仿射组合
    \\[\\forall \\theta_1, ..., \\theta_k, \\theta_1+...+\\theta_k = 1\\]

  • 凸组合
    \\[\\theta_1,...,\\theta_k, \\theta_1 + ...+\\theta_k = 1, \\theta_1,...,\\theta_k \\in [0,1]\\]

  • 凸锥组合
    \\[\\forall \\theta_1,...\\theta_k, \\theta_1,...,\\theta_k \\geq 0\\]

  • 任意一个仿射集,它一定是凸的。
  • 凸锥也一定是凸的。
  • 如果集合只有一个元素:\\(C=x\\),该集合也是一个仿射集。若这个点是原点,即\\(x=0\\),那么它还是凸锥。
  • 空集也是仿射集,同时还是凸集和凸锥。

以上是关于凸优化1 基本概念的主要内容,如果未能解决你的问题,请参考以下文章

机器学习凸集凸函数凸优化凸优化问题非凸优化问题概念详解

基本概念介绍

凸集,凸函数,凸优化问题。

CMU Convex Optimization(凸优化)笔记1--凸集和凸函数

凸集 凸函数 凸优化 概念

关于凸优化的一些简单概念