最优化所需基础知识-第六节1：凸函数前置基础知识

Posted 2022-11-20 快乐江湖

文章目录

• 一：梯度
• 二：海瑟矩阵
• 三：矩阵变量函数的导数
• • （1）Gateaux可微
  • （2）举例
• 四：广义实值函数和适当函数
• 五：下水平集、上方图和闭函数
• 六：闭函数与下半连续函数
• • （1）下半连续函数
  • （2）闭函数与下半连续函数

一：梯度

梯度：给定函数$f:{\mathbb{R}}^n\to \mathbb{R}$，且$f$在点$x$的一个领域内有意义，若存在向量$g\in R^n$满足

$$\underset{p\to 0}{\lim }\frac{f(x+p)-f(x)-g^{T}p}{||p||}=0$$

• $||.||$是任意的向量范数

就称$f$在$x$处可微（Frechet可微）。此时$g$称为$f$在点$x$处的梯度，记作$\nabla f(x)$。如果对区域$D$上每一个点$x$都有$\nabla f(x)$存在，则称$f$在$D$上可微

若$f$在点$x$处的梯度存在，在定义式中令$p=\xi e_i$，$e_i$是第$i$个分量为1的单位向量，可知$\nabla f(x)$的第$i$个分量为$\frac{\partial f(x)}{\partial x_i}$，因此

$$\nabla f(x)=(\frac{\partial f(x)}{\partial x_1},\frac{\partial f(x)}{\partial x_2},...,\frac{\partial f(x)}{\partial x_n}{)}^T$$

例如$f(x,y)=\frac{1}{x^2+y^2}$，则$\nabla \frac{1}{x^2+y^2}=-\frac{2x}{(x^2+y^2{)}^2}i-\frac{2y}{(x^2+y^2{)}^2}j$

二：海瑟矩阵

海瑟矩阵：如果函数$f(x):{\mathbb{R}}^n\to \mathbb{R}$在$x$处的二阶偏导数$\frac{{\partial }^{2}f(x)}{\partial x_i\partial x_j}(i,j=1,2,...,n)$都存在，则$f$在点$x$处的海瑟矩阵为

• 当${\nabla }^{2}f(x)$在区域$D$上的每个点$x$处都存在时，则称$f$在$D$上二阶可微
• 当${\nabla }^{2}f(x)$在区域$D$上还连续，则称$f$在$D$上二阶连续可微，可以证明此时海瑟矩阵为对称矩阵

三：矩阵变量函数的导数

多元函数梯度的定义可以推广到变量是矩阵的情形。对于以$m\times n$矩阵$X$为自变量的函数$f(X)$，若存在矩阵$G\in {\mathbb{R}}^{m\times n}$满足

$$\underset{V\to 0}{\lim }\frac{f(X+V)-f(X)-<G,V>}{||V||}=0$$

• $||.||$是任意矩阵范数

就称矩阵变量函数 f f