Pytorch中adam优化器的参数问题
Posted yqpy
tags:
篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了Pytorch中adam优化器的参数问题相关的知识,希望对你有一定的参考价值。
之前用的adam优化器一直是这样的:
alpha_optim = torch.optim.Adam(model.alphas(), config.alpha_lr, betas=(0.5, 0.999),
weight_decay=config.alpha_weight_decay)
没有细想内部参数的问题,但是最近的工作中是要让优化器中的部分参数参与梯度更新,其余部分不更新,由于weight_decay参数的存在,会让model.alphas都有所变化,所以想要真正部分参数
参与更新,则要关掉weight_decay
以上是关于Pytorch中adam优化器的参数问题的主要内容,如果未能解决你的问题,请参考以下文章
在 ADAM 优化器的 CNTK 实现中,参数 alpha、beta1、beta2 和 epsilon 如何与学习率和动量相关
Pytorch优化器全总结AdadeltaRMSpropAdamAdamaxAdamWNAdamSparseAdam(重置版)