通过权重和偏差在keras中记录学习速率计划

Question

我正在训练keras模型，并为优化器使用自定义学习速率调度程序（类型为tf.keras.optimizers.schedules.LearningRateSchedule），我希望通过权重记录学习速率的变化

Answer 1

进一步简化答案

class LRLogger(tf.keras.callbacks.Callback):

    def on_epoch_end(self, epoch, logs=None):
        lr = float(tf.keras.backend.get_value(self.model.optimizer.lr))
        wandb.log({'lr': lr}, commit=False)

Answer 2

我想完成ayush-thakur的答案。由于调度程序更新了每个批次/步骤的学习速率，而不是每个 epoch 的学习速率，因此记录器应检索 epoch * steps_per_epoch 的学习速率，其中 steps_per_epoch 是每个 epoch 的批处理数。此值存储在优化器迭代中。

拾取@ayush-thakur代码示例并更改on_epoch_end函数：

class LRLogger(tf.keras.callbacks.Callback):
    def __init__(self, optimizer):
        super(LRLogger, self).__init__()
        self.optimizer = optimizer

    def on_epoch_end(self, epoch, logs):
        lr = self.optimizer.learning_rate(self.optimizer.iterations)
        wandb.log({"lr": lr}, commit=False)

然后，您可以在model.fit训练过程中使用此回调。

注意上面的代码会返回每个纪元最后一批的学习率，要获取每个纪元第一批的学习率，请将on_epoch_end替换为on_epoch_begin。

Answer 3

根据Martjin的评论进行了更新！

您可以使用自定义Keras回调将自定义学习速率记录到权重和偏差上。

W

例如：

这是我的 tf.keras.optimizers.schedules.LearningRateSchedule 基于 scheduler。

class MyLRSchedule(tf.keras.optimizers.schedules.LearningRateSchedule):

  def __init__(self, initial_learning_rate):
    self.initial_learning_rate = initial_learning_rate

  def __call__(self, step):
     return self.initial_learning_rate / (step + 1)

optimizer = tf.keras.optimizers.SGD(learning_rate=MyLRSchedule(0.001))

您可以使用optimizer.learning_rate（step）获取优化器的当前学习速率。这可以包装为自定义 Keras 回调，并使用 wandb.log（）。

class LRLogger(tf.keras.callbacks.Callback):
    def __init__(self, optimizer):
      super(LRLogger, self).__init__()
      self.optimizer = optimizer

    def on_epoch_end(self, epoch, logs):
      lr = self.optimizer.learning_rate(self.optimizer.iterations)
      wandb.log({"lr": lr}, commit=False)

请注意，在 wandb.log 调用中，我使用了 commit=False 参数。这将确保在同一时间步长记录每个指标。更多关于它在这里。

调用model.fit（）。

tf.keras.backend.clear_session()
model = some_model()

model.compile(optimizer, 'categorical_crossentropy', metrics=['acc'])

wandb.init(entity='wandb-user-id', project='my-project', job_type='train')

_ = model.fit(trainloader,
          epochs=EPOCHS,
          validation_data=testloader,
          callbacks=[WandbCallback(), # using WandbCallback to log default metrics.
                     LRLogger(optimizer)]) # using callback to log learning rate.

wandb.finish()

这是 W