最优化所需基础知识-第六节2：凸函数的定义和性质

Posted 2022-11-25 我擦我擦

文章目录

• 一：凸函数定义
• • （1）凸函数的第一种定义
  • （2）凸函数的第二种定义
  • （3）严格凸函数
• 二：凸函数例子
• • （1）一元凸函数的例子
  • （2）多元凸函数的例子
• 三：强凸函数
• 四：凸函数判定定理
• • （1）一阶条件
  • • A：通用
    • B：梯度单调性
  • （2）二阶条件
  • （3）上方图

一：凸函数定义

（1）凸函数的第一种定义

• 通用定义

凸函数：设$f:{\mathbb{R}}^n\to \mathbb{R}$为适当函数，如果$f$的定义域是凸集，且

$$f(\theta x+(1-\theta )y)\le \theta f(x)+(1-\theta )f(y)$$

对所有$x,y\in f$的定义域，$0\le \theta \le 1$都成立，则称$f$是凸函数

• 若$f$是凸函数，则$-f$是凹函数

从几何上来看，上面的不等式意思就是下图中$(x,f(x))$和$(y,f(y))$之间的线段（也即弦），位于函数$f$的上方

（2）凸函数的第二种定义

凸函数：通俗讲就是先将其限制在任意直线上，然后判断对应的一维函数是否为凸，也即一个函数是凸函数当且仅当将函数限制在任意直线在蒂尼由于的部分上时仍是凸的。函数$f:{\mathbb{R}}^n\to \mathbb{R}$是凸的，并且当且仅当对每个$x\in domf,v\in {\mathbb{R}}^n$，函数$g:\mathbb{R}\to \mathbb{R}$是关于$t$的凸函数

g ( t ) = f ( x + t v ) ( t ∣ x + t v ∈ d o m f ) g(t)=f(x+tv)(\\t|x+tv \\in domf\\) g(t)=f(x+tv)(t∣x+tv∈domf)

• $x+tv$：以$x$为起点，$v$为方向，$t$为时间所形成的点

例如，$f(X)=-logdetX$是凸函数，其中$domf=S_{++}^n$。任取$X\succ 0$以及方向$V\in S^n$，将$f$限制在直线$X+tV$上（$t$满足$X+tV\succ 0$），那么

$$g(t)=-logdet(X+tV)=-logdetX-logdet(I+t{X}^{-\frac{1}{2}}V{X}^{-\frac{1}{2}})$$

$$=-logdetX-\sum {i=1}^{n}log(1+t{\lambda }_i)$$

• ${\lambda }_i$是$X^{-\frac{1}{2}}V{X}^{-\frac{1}{2}}$第$i$特征值

对每个$X\succ 0$以及方向$V$，$g$关于$t$是凸的，因此$f$是凸的

（3）严格凸函数

严格凸函数：若对所有$x,y\in f$的定义域，$x\ne y,\theta <0<1$，有

$$f(\theta x+(1-\theta )y)<\theta f(x)+(1-\theta )f(y)$$

则称$f$是严格凸函数

二：凸函数例子

（1）一元凸函数的例子

凸函数

• 仿射函数：对任意$a,b\in \mathbb{R}$,$ax+b$是$\mathbb{R}$上的凸函数
• 指数函数：对任意$a\in \mathbb{R}$，$e^{ax}$是$\mathbb{R}$上的凸函数
• 幂函数：对$\alpha >1$或$\alpha <0$，$x^{\alpha }$是${\mathbb{R}}_{++}$