保存并加载模型优化器状态

Question

我正在训练一组非常复杂的模型，我正在寻找一种保存和加载模型优化器状态的方法。“教练模型”由几个其他“权重模型”的不同组合组成，其中一些具有相同的权重，一些具有取决于教练的权重，等等。这个示例太过复杂，无法共享，但是总之，我不能够使用model.save('model_file.h5')，并keras.models.load_model('model_file.h5')停止和启动我训练的时候。

model.load_weights('weight_file.h5')如果训练完成，使用可以很好地测试我的模型，但是如果我尝试使用此方法继续训练模型，则损失甚至无法恢复到其最后位置。我已经读到这是因为使用这种方法没有保存优化器状态，​​这很有意义。但是，我需要一种用于保存和加载我的教练模型的优化器状态的方法。似乎keras曾经有一个，model.optimizer.get_sate()并且可以满足model.optimizer.set_sate()我的要求，但现在似乎不再如此了（至少对于Adam优化器而言）。当前的Keras还有其他解决方案吗？

Answer 1

您可以从load_model和save_model函数中提取重要的行。

要保存优化器状态，​​请在save_model：

# Save optimizer weights.
symbolic_weights = getattr(model.optimizer, 'weights')
if symbolic_weights:
    optimizer_weights_group = f.create_group('optimizer_weights')
    weight_values = K.batch_get_value(symbolic_weights)

要加载优化器状态，​​请参见load_model：

# Set optimizer weights.
if 'optimizer_weights' in f:
    # Build train function (to get weight updates).
    if isinstance(model, Sequential):
        model.model._make_train_function()
    else:
        model._make_train_function()

    # ...

    try:
        model.optimizer.set_weights(optimizer_weight_values)

结合以上各行，这是一个示例：

1. 首先将模型拟合5个时期。

   X, y = np.random.rand(100, 50), np.random.randint(2, size=100)
   x = Input((50,))
   out = Dense(1, activation=’sigmoid’)(x)
   model = Model(x, out)
   model.compile(optimizer=’adam’, loss=’binary_crossentropy’)
   model.fit(X, y, epochs=5)
   
   
   

   Epoch 1/5
   100/100 [==============================] - 0s 4ms/step - loss: 0.7716
   Epoch 2/5
   100/100 [==============================] - 0s 64us/step - loss: 0.7678
   Epoch 3/5
   100/100 [==============================] - 0s 82us/step - loss: 0.7665
   Epoch 4/5
   100/100 [==============================] - 0s 56us/step - loss: 0.7647
   Epoch 5/5
   100/100 [==============================] - 0s 76us/step - loss: 0.7638

2. 现在保存权重和优化器状态。

   model.save_weights(‘weights.h5’)
   symbolic_weights = getattr(model.optimizer, ‘weights’)
   weight_values = K.batch_get_value(symbolic_weights)
   with open(‘optimizer.pkl’, ‘wb’) as f:
   pickle.dump(weight_values, f)

3. 在另一个python会话中重建模型，并加载权重。

   x = Input((50,))
   out = Dense(1, activation=’sigmoid’)(x)
   model = Model(x, out)
   model.compile(optimizer=’adam’, loss=’binary_crossentropy’)

   model.load_weights(‘weights.h5’)
   model._make_train_function()
   with open(‘optimizer.pkl’, ‘rb’) as f:
   weight_values = pickle.load(f)
   model.optimizer.set_weights(weight_values)

4. 继续进行模型训练。

   model.fit(X, y, epochs=5)

   Epoch 1/5
   100/100 [==============================] - 0s 674us/step - loss: 0.7629
   Epoch 2/5
   100/100 [==============================] - 0s 49us/step - loss: 0.7617
   Epoch 3/5
   100/100 [==============================] - 0s 49us/step - loss: 0.7611
   Epoch 4/5
   100/100 [==============================] - 0s 55us/step - loss: 0.7601
   Epoch 5/5
   100/100 [==============================] - 0s 49us/step - loss: 0.7594