选择超参数 - 网格搜索

Posted 2023-03-12

【中文标题】选择超参数 - 网格搜索

【英文标题】：Choosing Hyperparameters - Grid Search

【发布时间】：2020-08-29 03:10:56

【问题描述】：

在此example 中测试逻辑回归模型的惩罚和正则化参数。我不明白如何选择这些参数。例如，为什么要关注 (11,12) 或 (0,4)？这与我们拥有的数据有什么关系？

【参考方案1】：

网格搜索的目的是寻找广义最优参数。

For example why focus on (l1,l2) or (0,4)?

惩罚参数和正则化参数影响分类边界。因此，为了找到最佳分类，重点是。

How does this relate to the data we have?

这些与我们拥有的数据没有直接关系。这个想法是，例如，我们必须选择“C”（正则化）参数，它给出了训练集和验证集之间的最小差异。这样模型就应该很简单，并且可以在未来的数据上泛化。

一般来说，选择参数的范围，不是单次尝试基于之前的迭代，范围可以根据模型性能扩大。

【讨论】：

使用新数据集时，我可以选择 (10,17) 而不是 (0,4)。但如果这个选择不依赖于我拥有的数据，我可能会花很长时间尝试这么多不相关的值，直到我得出某个值，最终可能甚至不是最好的值。这种情况该怎么办？

更多关于正则化参数***.com/questions/22851316/…