机器学习非凸优化研究的最新进展极简介绍与资料推荐

Posted 2021-04-03 黄含驰的机器学习与优化打怪路

翻译自：

https://www.quora.com/What-are-some-recent-advances-in-non-convex-optimization-research

非凸优化现在在机器学习中无处不在。以前的重点是凸松弛方法，而现在的重点是能直接解决非凸问题。

由于NPhard的阻碍，我们不可能找到每个非凸问题的全局最优值。一种替代方法是：在低阶多项式时间内有效地求解。最近的理论工作指明，许多非凸问题可以使用简单的迭代算法(eg：具有随机重启的梯度下降)近乎最佳地解决。 The conditions for success turn out be mild and natural for many learning problems.

有理论保证的非凸优化方法的一些例子：

• 通过分解高阶矩张量（一个非凸问题），我们可以学习许多潜变量模型。当隐/潜在表示不退化时，我们可以保证“learn a consistent model”：一个隐变量的影响不能被其他变量的影响线性表示。参阅https://jmlr.org/papers/volume15/anandkumar14b/anandkumar14b.pdf 与 http://www.offconvex.org/2015/12/17/tensor-decompositions/

• 在可分离性条件下，非负矩阵分解将易于处理，请参见 https://arxiv.org/abs/1111.0952。 这种条件并不总成立，但在许多问题（eg：在NLP中学习PCFG）中，我们总是可以添加更多features，直到可分离条件满足为止。参见http://homepages.inf.ed.ac.uk/scohen/acl14pivot+supp.pdf

• 在凸松弛成功的情景中，许多非凸方法都可以成功。例如，对于目标是找到矩阵的低秩+稀疏分解的鲁棒PCA问题，研究者证明了自然的非凸方法要比凸方法更有效，并且have the same regimes of success。参见：http://newport.eecs.uci.edu/anandkumar/pubs/nrpca.pdf。

• 非凸问题的主要缺点是需要良好的初始化，这需要domain knowledge。理论研究者正在解决这一问题。比如，对于稀疏编码问题，我们可以通过找到重叠聚类问题的解来初始化。参见http://newport.eecs.uci.edu/anandkumar/pubs/Anandkumar-COLT2014.pdf 和 https://arxiv.org/abs/1308.6273。

• 上述工作依赖于梯度下降或其他局部方法，并需要特定的初始化。另一种方法是基于平滑——通过局部平滑将函数逐渐转换为粗粒度目标。经过足够的平滑处理后，函数曲面变成凸面，并且其全局最优值可被用作对非凸面的更细粒度目标的初始化。http://people.csail.mit.edu/hmobahi/pubs/aaai_2015.pdf 就分析了此类平滑方法何时能成功用于非凸优化。

避免出现鞍点：鞍点会减缓随机梯度下降（SGD）的速度，尤其当变量数量增加时。这是一个非常有挑战性的问题。https://arxiv.org/abs/1405.4604 最近的工作在如何在高维空间有效逃避鞍点方面取得了进展。实际上，如果SGD够嘈杂（noisy），https://arxiv.org/abs/1503.02101 表明它可以逃脱非退化的鞍点, which can be determined by second order derivatives. A more challenging case involves saddle points which require higher order derivatives to escape, and we analyze them in a recent work https://arxiv.org/pdf/1602.05908v1.pdf .

离散优化：①（尤其是概率推断）Stefano Ermon 一直在分析随机投影对信息投影的影响，参见 https://arxiv.org/pdf/1510.01308v1.pdf 。 Gibbs采样是另一种流行的概率推理技术，但要 establish a bound on the mixing time是一项挑战。Christopher Re的小组在https://arxiv.org/abs/1510.00756 中尝试为Gibbs采样提供新的分析工具。②之前，我致力于研究概率模型的马尔可夫图结构，并表明简单有效的方法在“高温”状态下是成功的，参见http://newport.eecs.uci.edu/anandkumar/pubs/AnandkumarTan-Ising11.pdf

关于非凸优化的其他资源：

1. 非凸优化与统计学，89页ppt，普林斯顿Yuxin Chen博士

   https://mp.weixin.qq.com/s?src=11&timestamp=1613301433&ver=2890&signature=gjw91tekhFoiF1ZActpzDax9cgeDYd8SsDrUdqHj2KAVZj*EvI4yFqOvL3bLpjlWB2fGIY21qJdrQtVcM4HxTo2AYGUATGsVs-TFmHkw2WfDDyBuhlvmpaRfjY3aLQCL&new=1

2. 从基础知识到实际应用，一文了解「机器学习非凸优化技术」

   https://mp.weixin.qq.com/s?src=11&timestamp=1613301433&ver=2890&signature=Oj8oa-aT8OCLG7TEEokslWkdU7vo3H4*NmJF*2LbbpdYNLlKjcAVktHu*Xwkfda2X9oPdgWGi14u-cLmC839qr8yv3A1WWQmZW2-Uyr7h5AL1eD*NFbLOXcBx69KF2GZ&new=1

3. 最新《非凸优化理论》进展书册，79页pdf

   https://mp.weixin.qq.com/s?src=11&timestamp=1613301433&ver=2890&signature=gjw91tekhFoiF1ZActpzDax9cgeDYd8SsDrUdqHj2KD5qhclYj6QKOMrmc645B0m*a9Jre8HIT5fhlac0qcZz8m*j2vpKZgP*YxUot93pmY-QJtz4wWi70keQzvsyKha&new=1
   

4. NIPS 2015机器学习非凸优化：理论与实践研讨会上：https://sites.google.com/site/nips2015nonconvexoptimization/。

   博客：http://www.offconvex.org/2016/01/25/non-convex-workshop/ 。

5. 非凸分析和优化方面的进展：https://sites.google.com/site/noncvxicml16/

6. 您还可以看到我最近对David Beyer的采访，其中涉及了凸优化与非凸优化：从更高维度学习 。

7. Sanjeev Arora，Moritz Hardt和Nisheeth Vishnoi的非凸优化博客：http://www.offconvex.org/

8. 隐凸优化综述

   Xia, Y. A Survey of Hidden Convex Optimization.J.Oper.Res.Soc.China(2020) doi:10.1007/s40305-019-00286-5

   本文归纳了揭示非凸优化问题隐含凸性的三种方法，并提出了十个公开问题。

   Motivated by the fact that not all nonconvex optimization problems are difficult to solve, we survey in this paper three widely used ways to reveal the hidden convex structure for different classes of nonconvex optimization problems. Finally, ten open problems are raised.

9. 大家帮忙推荐一些非凸优化（Nonconvex optimization）的最新研究进展文献？- 微尘-黄含驰的回答 - 知乎https://www.zhihu.com/question/265506961/answer/1452323900