在keras中多次拟合模型

Question

我使用的是模型。fit（）多次，每次都负责训练一个层块，其他层被冻结

 # create the base pre-trained model
    base_model = efn.EfficientNetB0(input_tensor=input_tensor,weights='imagenet', include_top=False)

    # add a global spatial average pooling layer
    x = base_model.output
    x = GlobalAveragePooling2D()(x)    

    # add a fully-connected layer
    x = Dense(x.shape[1], activation='relu',name='first_dense')(x)
    x=Dropout(0.5)(x)
    x = Dense(x.shape[1], activation='relu',name='output')(x)
    x=Dropout(0.5)(x)

    no_classes=10
    predictions = Dense(no_classes, activation='softmax')(x)

    # this is the model we will train
    model = Model(inputs=base_model.input, outputs=predictions)

    # first: train only the top layers (which were randomly initialized)
    # i.e. freeze all convolutional layers
    for layer in base_model.layers:
        layer.trainable = False

    #FIRST COMPILE
    model.compile(optimizer='Adam', loss=loss_function,
                 metrics=['accuracy'])

    #FIRST FIT
    model.fit(features[train], labels[train],
              batch_size=batch_size,
              epochs=top_epoch,
              verbose=verbosity,
              validation_split=validation_split)

    # Generate generalization metrics
    scores = model.evaluate(features[test], labels[test], verbose=1)  
  
    print(scores)

     #Let all layers be trainable        
    for layer in model.layers:
        layer.trainable = True    

    from tensorflow.keras.optimizers import SGD
#FIRST COMPILE
    model.compile(optimizer=SGD(lr=0.0001, momentum=0.9), loss=loss_function,
                 metrics=['accuracy'])

    #SECOND FIT
    model.fit(features[train], labels[train],
              batch_size=batch_size,
              epochs=no_epochs,
              verbose=verbosity,
              validation_split=validation_split)
    

奇怪的是，在第二次拟合中，第一个历元的精度远低于第一次拟合的最后一个历元的精度。

纪元40/40 6286/6286 [==============================] - 14s 2ms/样品-损耗： 0.2370-精度： 0.9211-val_loss： 1.3579-val_accuracy：0.6762 874/874 [==============================] - 2s 2ms/样品-损耗： 0.4122-精度： 0.8764

在6286个样本上训练，在1572个样本上验证纪元1/40 6286/6286 [==============================] - 60 9ms/样本-损失： 5.9343-精度： 0.5655-val_loss： 2.4981-val_accuracy： 0.5115

我认为第二次试穿的重量不是从第一次试穿中取出来的

提前感谢！！！

Answer 1

我通过删除第二个编译器解决了这个问题。

Answer 2

我认为这是使用不同优化器的结果。你第一次用亚当，第二次用SGD。试试在第二次试穿中使用亚当，看看它是否正常工作