凸集与非凸集，凸函数与凹函数，凸优化

Posted 2022-10-31 water_forever_

关于凸集与非凸集，凸函数与凹函数，凸优化的概念一直混淆，在此整理下相关定义和概念，希望给有需要的人。
凸集：集合中的任意两点连线的点都在该集合中，则称该集合为凸集；凹集为非凸集。

函数的凹凸是由函数“上方”集合的凹凸性决定的，该集合为凸集则该函数为凸函数，该集合为凹集则该函数为凹函数。
凹函数： concave function，简单理解为对曲线上任意两点连线上的点对应的函数值不小于该两点对应的函数值得连线上的值；
严格凹函数：strictly concave function，简单理解为对曲线上任意两点连线上的点对应的函数值大于该两点对应的函数值得连线上的值；

凸函数： convex function，简单理解为对曲线上任意两点连线上的点对应的函数值不大于该两点对应的函数值得连线上的值；
严格凸函数：strictly convex function，简单理解为对曲线上任意两点连线上的点对应的函数值小于该两点对应的函数值得连线上的值；


凸优化：约束条件为凸集，目标函数为凹函数
凸优化存在全局最优解，换句话说，局部最优解是全局最优解，有现成的算法和软件包来求解，比如梯度下降法等。

p.s.：中国的教材对凹函数和凸函数的定义和外国的相反。

参考：https://en.wikipedia.org/wiki/Convex_function
https://en.wikipedia.org/wiki/Concave_function