组合优化在机器学习中的应用

Posted 2021-04-03 黄含驰的机器学习与优化打怪路

机器学习中有很多离散问题如超参数选择、特征选择、排序……可以结合现有的用于求解组合优化的方法改进求解。

 

排列测试在机器学习算法中较为普遍，例如非参数统计测试（通常用于网络/图形算法或拓扑数据分析等领域）就时常利用组合或排列测试。对于神经网络，组合学（含图论）的一些结果可能对网络设计有用（Colleen Farrelly有时会在网络分析或深度学习架构设计中使用它们）~

 

原用于求解组合优化的智能方法可以改进机器学习的现有算法：如改进纯梯度下降（机器学习中的梯度下降则是单一点寻优，这也就导致梯度下降容易陷入局部最优点，而智能算法具有强全局搜索能力，能够找到全剧最优点）~

 

机器学习中的许多离散问题可以具有有益的结构。这种结构如亚模量、边缘多边形（marginal polytopes）、对称性和可交换性已成为许多成功（近似）解决方案策略的重要组成部分。

 

• Alexander Lenail, Ludwig Schmidt, Johnathan Li, Tobias Ehrenberger, Karen Sachs, Stefanie Jegelka and Ernest Fraenkel. Graph-Sparse Logistic Regression

• Ethan R. Elenberg, Alex Dimakis, Moran Feldman and Amin Karbasi Streaming Weak Submodularity: Interpreting Neural Networks on the Fly

 

 

算法集成/算法配置在现代数据科学和算法设计中十分重要。从业人员通常不会使用只提供最坏情况性能保证的现成算法，而通常会对大量参数化算法进行优化，并使用来自特定领域的问题实例训练集来确定配置这些算法的参数，从而确定期望范围内具有较高预期性能的配置。但是，这项工作大多数没有性能保证。对于许多对机器学习非常重要的组合问题如分区和子集选择问题，对参数的细微调整会导致算法行为的级联变化，因此算法的性能是其参数的不连续函数 。

设计良好的数据驱动的组合算法可以为批处理和在线组合分区问题（包括各种形式的聚类）提供强大的计算效率和统计性能保证~（修改自http://discml.cc/）

 

将约束推理注入ML可以帮助解决与ML模型的鲁棒性，公平性和可解释性有关的许多紧迫挑战。（不算组合优化，捂脸）