一种实用的降学习率公式
Posted AI浩
tags:
篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了一种实用的降学习率公式相关的知识，希望对你有一定的参考价值。
一种实用的降学习率公式：
# set lr rate
current_lr = 0.0002 * (1 / 2) ** (step / 10000)
for param_group in optimizer_G.param_groups:
param_group["lr"] = current_lr
具体使用方法：
step = 0
for epoch in range(opt.epoch, opt.n_epochs):
for i, batch in enumerate(dataloader):
step = step + 1
# set lr rate
current_lr = 0.0002 * (1 / 2) ** (step / 10000)
for param_group in optimizer_G.param_groups:
param_group["lr"] = current_lr
以上是关于一种实用的降学习率公式的主要内容，如果未能解决你的问题，请参考以下文章
梯度下降实用技巧II之学习率 Gradient descent in practice II -- learning rate