为什么机器学习算法难以优化？一文详解算法优化内部机制

Posted 2021-06-23 Charmve

点击上方“迈微AI研习社”，选择“星标★”公众号

重磅干货，第一时间送达

损失线性组合是正确的选择吗？这篇文章或许能够给你答案。

在机器学习中，损失的线性组合无处不在。虽然它们带有一些陷阱，但仍然被广泛用作标准方法。这些线性组合常常让算法难以调整。

在本文中，作者提出了以下论点：

1. 机器学习中的许多问题应该被视为多目标问题，但目前并非如此；

2. 「1」中的问题导致这些机器学习算法的超参数难以调整；

3. 检测这些问题何时发生几乎是不可能的，因此很难解决这些问题。

有一些方法可以轻微缓解这些问题，并且不需要代码。

梯度下降被视为解决所有问题的一种方法。如果一种算法不能解决你的问题，那么就需要花费更多的时间调整超参数来解决问题。

损失的线性组合无处不在

尽管存在单目标的问题，但通常都会对这些目标进行额外的正则化。本文作者从整个机器学习领域选择了这样的优化目标。

首先来