Keras/Tensorflow中不同时代之间的训练率如何变化

Question

当使用其中一个自适应优化器（Adam等）时，我们希望在EPHO内的训练期间改变连续小批量的学习速率。但我想知道在连续的历代之间，学习率会如何变化——是从上一个历代（预期行为）继续，还是从默认值初始化？

当然，术语“速率”指的是特定优化器用来确定实际权重的全部变量（更新wrt梯度）

如果我运行N个时代的训练，速度会发生什么，停下来，然后继续这样：

model.fit(data1_train_x,data1_train_y, \

          initial_epoch=0, \
          epochs=20, \             

          validation_split=0.1,\
          batch_size=64, \
          callbacks=[tensorboard])

model.fit(data2_train_x,data2_train_y, \

          initial_epoch=20, \
          epochs=40, \

          validation_split=0.1,\
          batch_size=64, \              
          callbacks=[tensorboard])

我想我会创建回调来记录每个历元后的速率并绘制它，但在我这样做之前，可能有人已经知道了答案。

Answer 1

小结

利率变化不会重置；在这两种情况下，它们在不同时期都能顺利进行。

细节

自迭代0以来，任何表现良好的学习率衰减函数都取决于训练的长度。

注：您可以编写自己的衰减函数；你可以随心所欲地把它弄得乱七八糟。一个这样的改变是

alpha = iteration_number

在你拿着咖啡回来之前，这会产生分歧。

有些函数仅依赖于当前状态和修饰符，例如

if iteration_number % 5000 == 0:
    alpha *= 0.9

另一个由半指数衰减组成，取决于剩余迭代的数量。

在任何情况下，这些都不会在每个历元开始时重置。如果你愿意，你可以写一个来重置，但我不推荐。

您的两阶段示例也不例外，因为您已经正确地对其进行了编码：第二个训练段从上一个训练段结束的地方开始。这里的关键线索是initial_epoch参数：您告诉拟合函数从何处开始学习速率，而不是重置为时间零。