Tensorflow 2.0的自定义训练循环的学习率

Posted 2021-04-29

当我使用tensorflow 2.0自定义训练循环时，是否有任何功能或方法可以显示学习率？

这里是张量流指南的一个示例：

def train_step(images, labels):
  with tf.GradientTape() as tape:
    predictions = model(images)
    loss = loss_object(labels, predictions)
  gradients = tape.gradient(loss, model.trainable_variables)
  optimizer.apply_gradients(zip(gradients, model.trainable_variables))

  train_loss(loss)
  train_accuracy(labels, predictions)

当训练模型时，如何从优化器中检索当前学习率？

我将非常感谢您能提供的任何帮助。 ：）

答案

在自定义训练循环设置中，您可以print(optimizer.lr.numpy())获得学习率。

如果使用的是keras api，则可以定义自己的回调来记录当前的学习率。

from tensorflow.keras.callbacks import Callback

class LRRecorder(Callback):
    """Record current learning rate. """
    def on_epoch_begin(self, epoch, logs=None):
        lr = self.model.optimizer.lr
        print("The current learning rate is {}".format(lr.numpy()))

# your other callbacks 
callbacks.append(LRRecorder())

更新

w := w - (base_lr*m/sqrt(v))*grad = w - act_lr*grad我们获得的学习率是base_lr。但是，act_lr在训练过程中会自适应更改。以Adam优化器为例，act_lr由base_lr，m和v决定。 m和v是参数的第一和第二动量。不同的参数具有不同的m和v值。因此，如果您想知道act_lr，则需要知道变量的名称。例如，您想知道变量act_lr的Adam/dense/kernel，可以像这样访问m和v，

for var in optimizer.variables():
  if 'Adam/dense/kernel/m' in var.name:
    print(var.name, var.numpy())

  if 'Adam/dense/kernel/v' in var.name:
    print(var.name, var.numpy())

然后您可以使用上述公式轻松计算act_lr。