选择超参数 - 网格搜索
Posted
技术标签:
【中文标题】选择超参数 - 网格搜索【英文标题】:Choosing Hyperparameters - Grid Search 【发布时间】:2020-08-29 03:10:56 【问题描述】:在此example 中测试逻辑回归模型的惩罚和正则化参数。我不明白如何选择这些参数。例如,为什么要关注 (11,12) 或 (0,4)?这与我们拥有的数据有什么关系?
【问题讨论】:
【参考方案1】:网格搜索的目的是寻找广义最优参数。
For example why focus on (l1,l2) or (0,4)?
惩罚参数和正则化参数影响分类边界。因此,为了找到最佳分类,重点是。
How does this relate to the data we have?
这些与我们拥有的数据没有直接关系。这个想法是,例如,我们必须选择“C”(正则化)参数,它给出了训练集和验证集之间的最小差异。这样模型就应该很简单,并且可以在未来的数据上泛化。
一般来说,选择参数的范围,不是单次尝试基于之前的迭代,范围可以根据模型性能扩大。
【讨论】:
使用新数据集时,我可以选择 (10,17) 而不是 (0,4)。但如果这个选择不依赖于我拥有的数据,我可能会花很长时间尝试这么多不相关的值,直到我得出某个值,最终可能甚至不是最好的值。这种情况该怎么办? 更多关于正则化参数***.com/questions/22851316/…以上是关于选择超参数 - 网格搜索的主要内容,如果未能解决你的问题,请参考以下文章