适用于MNIST的逻辑回归的最优解算器的选择

Posted 2021-03-29

我是machnine学习的新手。我一直在关注一些online tutorials，它们使用python scikit库对MNIST数据进行逻辑回归。默认的“liblinear”解算器在训练集大小为60 000个图像时显示缓慢执行，因此教程建议使用“lbfgs”解算器。

但是，the user guide建议，此解算器仅适用于小型数据集：

建议将“lbfgs”求解器用于小型数据集，但对于较大的数据集，其性能会受到影响。 [9]

虽然我熟悉统计数据，其中一个小数据集通常<100，但我如何证明这个解算器的选择以及在这种情况下如何与样本大小相关？这应该只是基于直觉/表现还是有一些严格的标准？

答案

它不是关于求解器的使用。对MNIST数据使用Logistic回归可以得到一些较低的结果。因为它只是在两个类别之间绘制了一条边界线。然而，如果您使用神经网络，卷积神经网络，SVM以及除“线性”之外的任何内核，那么如果参数最合适，它们将提供最佳结果。

解决者绝对浪费你的时间。但它更好地建议使用上述模型。