在 Python 中在 CNTK 中设置 learningRateMultiplier

Posted 2023-02-16

【中文标题】在 Python 中在 CNTK 中设置 learningRateMultiplier

【英文标题】：Setting learningRateMultiplier in CNTK from within Python

【发布时间】：2017-04-06 17:39:46

【问题描述】：

我正在加载一个预训练的网络，并希望更改/设置各个层的“learningRateMultiplier”。我在使用 Brainscript 之前已经这样做了（链接见下文），但现在需要从 Python 中执行此操作。这支持吗？或者 Python 中有没有其他方法可以设置每层特定的学习率？

脑筋急转弯： https://github.com/Microsoft/CNTK/wiki/Parameters-And-Constants

提供一些背景信息：我想微调 Fast R-CNN 训练中的所有层，包括卷积层。然而，过去的实验表明，与 fc 层相比，conv 层需要更小的学习率（可能是因为所有 ROI 的梯度相加或以其他方式组合）。

谢谢， 帕特里克

【参考方案1】：

除非有更好的替代表面，否则我建议创建两个具有不同学习率和不相交的parameters 参数的learners。您可以向模型的Trainer 提供包含多个学习者的列表，该列表应在训练期间协调它们的使用。

【讨论】：

感谢您的帮助！