凸集与凸函数

Posted 2020-12-29 aaronhoo

来自：https://blog.csdn.net/kebu12345678/article/details/54926287

凸函数：如果函数f(x)的图像上方的点构成的集合是一个凸集的话，那么f(x)就是一个凸函数。

注意：此处的定义及内涵与百度百科不同，与英文的维基百科（https://en.wikipedia.org/wiki/Convex_function）

一致，即In mathematics, a real-valued function defined on an n-dimensional interval is called convex (or convex downward or concave upward) if the line segment between any two points on the graph of the function lies above or on the graph, in a Euclidean space (or more generally a vector space) of at least two dimensions.

 

凸函数的一个重要性质：凸函数的局部最优点必定也是全局最优点。

机器学习之所以能用梯度下降法来求解最优解，就是因为目标函数（损失函数）是凸函数，因此导数为零的点必定是全局最优解。如果目标函数不是凸函数的话，就不能用梯度下降法。