凸集 凸函数 凸优化 概念

Posted xuwanwei

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了凸集 凸函数 凸优化 概念相关的知识,希望对你有一定的参考价值。

凸集

  • 集合C内任意两点间的线段也均在集合C内,则称集合C为凸集。

  • (forall x_1, x_2 in C, forall heta in [0,1], 则 x= heta * x_1 + (1- heta)*x_2 in C)

  • 技术图片

凸函数定义

  • f为定义在区间I上的函数,若对I上的任意两点(x_i, x_2)和任意(lambda in (0,1)) ?有(f(lambda x_i + (1-lambda)x_2)leq lambda f(x_i)+(1-lambda)f(x_2))

  • (leq)换成<也成立则严格凸函数。

几个性质

  • 性质1: 设 (f ? R^n–> R^1),C是凸集,若f是凸函数,则对于?β,证明下面水平集(D_β)是凸集。 (D_eta = {x|f(x) leq eta, x in C})

  • 性质2 : 凸优化问题的局部极小值是全局极小值。

  • 性质3: 若f一阶可微,则函数f为凸函数当且仅当f的定义域domf为凸集,且 (forall x,y in domf, f(y)geq f(x) + riangledown f(x)^T(y-x))

    技术图片

  • 性质4:若f二阶可微,则函数f为凸函数当且仅当f的定义域domf为凸集,且( riangledown ^2f(x)succeq 0)

    • 若f为一元函数,上式表示二阶导大于0
    • 若f为多元函数,上式表示二阶导Hessian矩阵半正定

Hessian矩阵

  • 二阶导数矩阵
  • 多元函数的Hessian矩阵
    • 技术图片

正定 半正定

  • 正定:(f(x_1,x_2,...,x_n)=x^TAx),(所有的二次齐次式都可以写成这个形式)如果对任意的(x eq 0)均有(f(x)>0),则称(f(x))为正定二次型,同时称(A)为正定矩阵。

  • 正定:对于n阶实对称矩阵A,下列条件是等价的:

    • A是正定矩阵;
    • A的一切顺序主子式均为
    • A的一切主子式均为
    • A的特征值均为
    • 存在实可逆矩阵C,使A=C′C;
    • 存在秩为n的m×n实矩阵B,使A=B′B;
    • 存在主对角线元素全为正的实三角矩阵R,使A=R′R
  • 半正定:设A是n阶实对称矩阵,则下列的条件等价:

    1.A是半正定的。

    2.A的所有主子式均为非负的。

    3.A的特征值均为非负的。

    4.存在n阶矩阵C,使A=C′C.

    5.存在为r的r×n实矩阵B,使A=B′B.

凸优化问题

  • OPT,convex optimization problem,凸集中的凸函数最优化的问题。

  • 基本形式:(minimize f_0(x), xin R^n)

    (subject to f_i(x)leq0,i=1...m; h_(x)=0,j=1...p)

  • 优化变量 (xin R^n)

  • 不等式约束 (f_i(x)leq 0)

  • 等式约束 (h_j(x)=0)

  • 无约束优化 (m=p=0)

  • 优化问题的域 (D=cap_{i=0}^m domf cap cap_{j=1}^p domh_j)

  • 可行点(解):(xin D),且满足约束条件

  • 可行域:所有可行点的集合

  • 最优化值 (p^* = inf{f_0(x)|f_i(x)leq0,i=1...m,h_j(x)=0,j=1...p})

  • 最优化解 (p^*=f_0(x^*))

  • 凸优化问题的重要性质:

    • 可行域为凸集
    • 局部最优解即全局最优解

以上是关于凸集 凸函数 凸优化 概念的主要内容,如果未能解决你的问题,请参考以下文章

凸集 凸函数 凸优化 概念

凸集,凸函数,凸优化问题。

凸集与非凸集,凸函数与凹函数,凸优化

凸集与非凸集,凸函数与凹函数,凸优化

关于凸优化的一些简单概念

CMU Convex Optimization(凸优化)笔记1--凸集和凸函数