问题与早期停止在tf.keras

Question

我正在训练我的第一个转移学习模式（耶！）当验证损失在超过3个时期内没有变化超过0.1时，我很难让模型停止训练。

下面是相关的代码块

early_stopping = tf.keras.callbacks.EarlyStopping(monitor='val_loss', patience=3, min_delta = 0.1)

model.compile(optimizer='adam',
          loss='sparse_categorical_crossentropy',
          metrics=['accuracy'],
          callbacks=[early_stopping])

EPOCHS = 100

history = model.fit(training_batches,
                epochs=EPOCHS,
                validation_data=validation_batches)

下面是一些日志：

    Epoch 32/100
    155/155 [==============================] - 21s 134ms/step - loss: 0.0042 - accuracy: 0.9998 - val_loss: 0.3407 - val_accuracy: 0.9012
    Epoch 33/100
    155/155 [==============================] - 21s 133ms/step - loss: 0.0040 - accuracy: 0.9998 - val_loss: 0.3443 - val_accuracy: 0.9000
    Epoch 34/100
    155/155 [==============================] - 21s 134ms/step - loss: 0.0037 - accuracy: 0.9998 - val_loss: 0.3393 - val_accuracy: 0.9019
    Epoch 35/100
    155/155 [==============================] - 21s 135ms/step - loss: 0.0031 - accuracy: 1.0000 - val_loss: 0.3396 - val_accuracy: 0.9000
    Epoch 36/100
    155/155 [==============================] - 21s 134ms/step - loss: 0.0028 - accuracy: 1.0000 - val_loss: 0.3390 - val_accuracy: 0.9000
    Epoch 37/100
    155/155 [==============================] - 21s 133ms/step - loss: 0.0026 - accuracy: 1.0000 - val_loss: 0.3386 - val_accuracy: 0.9025
    Epoch 38/100
    155/155 [==============================] - 21s 133ms/step - loss: 0.0024 - accuracy: 1.0000 - val_loss: 0.3386 - val_accuracy: 0.8994
    Epoch 39/100
    155/155 [==============================] - 21s 133ms/step - loss: 0.0022 - accuracy: 1.0000 - val_loss: 0.3386 - val_accuracy: 0.9019

问题：

• 为什么训练没有在第37纪元停止，因为我设置了早期停止回调来监控Valu损失
• 我可以做更复杂的提前终止回调吗？类似于“如果值”的东西

Answer 1

将patience=3减少到更小，例如1或2，然后看看会发生什么。

它告诉Keras你有多努力。耐心=少数人会告诉Keras尽早停止训练。另一方面，如果你使用一个大的数字，它会告诉Keras等待，直到达到相当大的精度

耐心：产生监测量而没有改善的时期数，之后训练将停止。如果验证频率（model.fit（validation_freq=5））大于1，则不能为每个纪元生成验证数量

Answer 2

编辑

它不起作用，因为你把回调参数放在了错误的方法调用中。（事实上，当我用传递给编译的回调来拟合模型时，我收到了一个无效的参数错误。因此，我不知道为什么你的模型编译没有问题。（

它应该在fi方法中，如下所示。请注意，建议在早期停止配置中设置详细=1，以便打印出早期停止日志。

early_stopping = tf.keras.callbacks.EarlyStopping(monitor='val_loss', patience=3, min_delta = 0.1, verbose = 1)

model.compile(optimizer='adam',
          loss='sparse_categorical_crossentropy',
          metrics=['accuracy'])

EPOCHS = 100

history = model.fit(training_batches,
                epochs=EPOCHS,
                callbacks=[early_stopping], # call back should be here!
                validation_data=validation_batches)

关于你的第二个问题，自定义回调是可能的，你可以参考留档的例子。基本上，您必须在on_epoch_end中定义早期停止逻辑。

另一方面，我认为您不应该过早地停止使用多个指标，选择一个重要的指标（即您正在优化的指标-val\u accurity），然后监控它。甚至有不鼓励提前停车的来源