最优化所需基础知识-第七节：保凸的运算和共轭函数
Posted 我擦我擦
tags:
篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了最优化所需基础知识-第七节：保凸的运算和共轭函数相关的知识，希望对你有一定的参考价值。
文章目录
一：保凸的运算
保凸的运算：要验证一个函数 f f f是凸函数，上一节我们已经介绍了三种方法
- 采用定义验证，通常将函数限制在一条直线上
- 利用一阶条件、二阶条件证明函数凸性
- 直接研究 f f f的上方图 e p i f epif epif
除此之外，函数 f f f也可以由一些简单的凸函数通过保凸运算得到，它们是
- 非负加权和
- 与仿射函数的复合
- 逐点取最大值
- 与标量、向量函数的复合
- 取下确界
- 透视函数
（1）非负加权和
非负加权和：包括非负数乘和求和
- 非负数乘：若 f f f是凸函数，则 α f \\alpha f αf是凸函数，其中 α ≥ 0 \\alpha \\geq 0 α≥0
- 求和：若 f 1 f_1 f1， f 2 f_2 f2是凸函数，则 f 1 f_1 f1+ f 2 f_2 f2是凸函数
也即， f 1 , f 2 , . . . , f n f_1,f_2,...,f_n f1,f2,...,fn为凸函数， α ≥ 0 \\alpha \\geq 0 α≥0，则 f = ∑ i n α i f i f=\\sum\\limits_i^n\\alpha_if_i f=i∑nαifi为凸函数
（2）与仿射函数的复合
与仿射函数的复合：若 f f f是凸函数，则 f ( A x + b ) f(Ax+b) f(Ax+b)是凸函数。也即自变量先进行仿射变换，再代入函数后仍会保持凸性
证明
∀ x , y ∈ d o m f , 0 ≤ θ ≤ 1 \\forall x, y \\in dom f,\\quad 0\\leq \\theta\\leq1 ∀x,y∈domf,0≤θ≤1， g ( θ x + ( 1 − θ ) y ) = f ( θ x + ( 1 − θ ) y + b ) = f ( θ ( A x + b ) + ( 1 − θ ) ( A y + b ) ) ≤ θ f ( A x + b ) + ( 1 − θ ) f ( A y + b ) = θ g ( x ) + ( 1 − θ ) g ( y ) g(\\theta x+(1-\\theta )y)=f(\\theta x+(1-\\theta )y+b)=f(\\theta(Ax+b)+(1-\\theta)(Ay+b))\\leq\\theta f(Ax+b)+(1-\\theta)f(Ay+b)=\\theta g(x)+(1-\\theta)g(y) g(θx+(1−θ)y)=f(θx+(1−θ)y+b)=f(θ(Ax+b)+(1−θ)(Ay+b))≤θf(Ax+b)+(1−θ)f(Ay+b)=θg(x)+(1−θ)g(y)
举例
- 线性不等式的对数障碍函数： f ( x ) = − ∑ i = 1 m l o g ( b i − a i T x ) , d o m f = x ∣ a i T < b , i = 1 , 2 , . . . , m f(x)=-\\sum\\limits_i=1^mlog(b_i-a_i^Tx),domf=\\x|a_i^T<b, i=1,2,...,m\\ f(x)=−i=1∑mlog(bi−aiTx),domf=x∣aiT<b,i=1,2,...,m
- 仿射函数的任意范数： f ( x ) = ∣ ∣ A x + b ∣ ∣ f(x)=||Ax+b|| f(x)=∣∣Ax+b∣∣
（3）逐点取最大值
逐点取最大值：若 f 1 , f 2 , . . . , f m f_1,f_2,...,f_m f1,f2,...,fm是凸函数，则 f ( x ) = m a x f 1 , f 2 , . . . , f m f(x)=max\\f_1,f_2,...,f_m\\ f(x)=maxf1,f2,...,fm是凸函数
证明：以两个函数为例证明
设 f 1 ( x ) , f 2 ( x ) f_1(x), f_2(x) f1(x),f2(x)为凸，定义 f ( x ) = m a x f 1 ( x ) , f 2 ( x ) , d o m f = d o m f 1 ∩ d o m f 2 f(x)=max\\f_1(x), f_2(x)\\,dom f=domf_1\\cap dom f_2 f(x)=maxf1(x),f2(x),domf=domf1∩domf2
0 ≤ θ ≤ 1 , x . y ∈ d o m f 0\\leq\\theta \\leq1,x.y\\in domf 0≤θ≤1,x.y∈domf， f ( θ x + ( 1 − θ x ) y ) = m a x f 1 ( θ x + ( 1 − θ x ) y ) , f 2 ( θ x + ( 1 − θ x ) y ) ≤ m a x θ f 1 ( x ) + ( 1 − θ ) f 1 ( y ) , θ f 2 ( x ) + ( 1 − θ ) f 2 ( y ) ≤ m a x θ f 1 ( x ) , θ f 2 ( x ) + m a x ( 1 − θ ) f 1 ( y ) , 1 − θ ) f 2 ( y ) = θ f ( x ) + ( 1 − θ ) f ( y ) f(\\theta x+(1-\\theta x)y)=max\\f_1(\\theta x+(1-\\theta x)y),f_2(\\theta x+(1-\\theta x)y)\\\\leq max\\\\theta f_1(x)+(1-\\theta)f_1(y),\\theta f_2(x)+(1-\\theta)f_2(y)\\\\leq max\\\\theta f_1(x),\\theta f_2(x)\\+max\\(1-\\theta)f_1(y),1-\\theta)f_2(y)\\=\\theta f(x)+(1-\\theta)f(y) f(θx+(1−θx)y)=maxf1(θx+凸优化——保凸运算
优化理论02----凸函数共轭函数拟凸函数对数凹/对数凸函数关于广义不等关系的凸性