调参是啥意思 调参的解释

Posted 2023-05-17

参考技术A 1、调参中的参，指的是机器学习模型的超参数（其定义可以去搜一下）。机器学习模型的参数和超参数是两个概念，注意区分。任何一种机器学习模型都可以用一个minL(θ)来表示，即通过，最小化某个损失函数。这是一个最优化问题。

2、超参数之所以存在，主要是它决定着这个最优化问题的求解速率、求解出来的解的靠谱程度或者说学习效果。超参数设的好，能帮助你快速地找到这个最小化问题的（次）最优解。

对于调参的经验2

5. Learning Rate设置合理（学习率）

 太大: loss爆炸, 或者nan

+太小: 半天loss没反映(但是, LR需要降低的情况也是这样, 这里可视化网络中间结果, 不是weights, 有效果, 俩者可视化结果是不一样的, 太小的话中间结果有点水波纹或者噪点的样子, 因为filter学习太慢的原因, 试过就会知道很明显)

+需要进一步降低了: loss在当前LR下一路降了下来, 但是半天不再降了.

+如果有个复杂点的任务, 刚开始, 是需要人肉盯着调LR的. 后面熟悉这个任务网络学习的特性后, 可以扔一边跑去了.

• 如果上面的Loss设计那块你没法合理, 初始情况下容易爆, 先上一个小LR保证不爆, 等loss降下来了, 再慢慢升LR, 之后当然还会慢慢再降LR, 虽然这很蛋疼.
• LR在可以工作的最大值下往小收一收, 免得ReLU把神经元弄死了. 当然, 我是个心急的人, 总爱设个大点的.

6 对比训练集和验证集的loss

判断过拟合, 训练是否足够, 是否需要early stop的依据, 这都是中规中矩的原则, 不多说了.

7 清楚receptive field的大小

receptive field感受野的概念

感受野（Receptive Field）的定义：卷积神经网络每一层输出的特征图（feature map）上的像素点映射回输入图像上的区域大小。通俗点的解释是，特征图上一点，相对于原图的大小，也是卷积神经网络特征所能看到输入图像的区域。

CV的任务, context window是很重要的. 所以你对自己模型的receptive field的大小要心中有数. 这个对效果的影响还是很显著的. 特别是用FCN(全卷积神经网络), 大目标需要很大的receptive field. 不像有fully connection的网络, 好歹有个fc兜底, 全局信息都有.