使用 Keras 进行迁移学习，验证准确性从一开始就没有提高（超出幼稚的基线），而训练准确性提高了

Question

我正在为Food-101数据集构建分类器（图像数据集w/101类，每个类1k图像）。我的方法是使用Keras和ResNet50（来自imagenet的权重）进行转移学习。

当训练模型时，训练精度在几个时期内得到适度提高（30%）--

当我查看模型在验证集上所做的预测时，它始终是同一类。

我的感觉是，该模型并没有过度拟合到如此糟糕的程度，以致于无法解释验证精度中缺乏变化的原因。

如有任何建议，以提高验证精度，我们将不胜感激。

作为参考，下面是相关的代码片段:

datagen = ImageDataGenerator(rescale=1./255, validation_split=0.2)

train_datagen = datagen.flow_from_directory('data/train/', seed=42, class_mode='categorical', subset='training', target_size=(256,256))
# prints "60603 images belonging to 101 classes"
val_datagen = datagen.flow_from_directory('data/train/', seed=42, class_mode='categorical', subset='validation', target_size=(256,256)) 
# prints "15150 images belonging to 101 classes"

train_steps = len(train_datagen) #1894
val_steps = len(val_datagen) #474
classes = len(list(train_datagen.class_indices.keys())) #101

conv_base = ResNet50(weights='imagenet', include_top=False, pooling='avg', input_shape=(256, 256, 3))

from keras.layers import GlobalAveragePooling2D
from keras.layers import Dropout
from keras.layers import Flatten
from keras.layers import BatchNormalization

model = Sequential()

model.add(conv_base)
model.add(BatchNormalization())
model.add(Dropout(0.2))
model.add(Dense(512, activation='relu'))
model.add(Dropout(0.5))
model.add(Dense(classes, activation='softmax'))

conv_base.trainable = False

from keras.optimizers import Adam

model.compile(loss='categorical_crossentropy',
              optimizer=Adam(),
              metrics=['acc','top_k_categorical_accuracy'])

history = model.fit_generator(
    train_datagen,
    steps_per_epoch=train_steps,
    epochs=5,
    verbose=2,
    validation_data=val_datagen,
    validation_steps=val_steps
)

下面是<代码>的结果。fit_generator():

• 第1/5纪元
  • 724秒 - 亏损：3.1305 - acc：0.3059 - top_k_categorical_accuracy：0.5629 - val_loss：6.5914 val_acc：0.0099 - val_top_k_categorical_accuracy：0.0494
  • 715s - 损失： 2.4812 - 截至： 0.4021 - top_k_categorical_accuracy： 0.6785 - val_loss： 7.4093 - val_acc： 0.0099 - val_top_k_categorical_accuracy： 0.0495
  • 714s-损失：2.3559-acc：0.4248-top_k_categorical_accuracy：0.7026-val_loss：8.9146-val_acc：0.0094-val_top_k_categorical_accuracy：0.0495
  • 714s-损失：2.2661-acc:0.4459-top_k_Categorial_accuracy:0.7200-val_loss:8.0597-val _acc:
  • 715s - 损失： 2.1870 - 截至： 0.4583 - top_k_categorical_accuracy： 0.7348 - val_loss： 7.5171 - val_acc： 0.0100 - val_top_k_categorical_accuracy： 0.0483

  下面是model.summary（）：

  Layer (type)                 Output Shape              Param #   
  =================================================================
  resnet50 (Model)             (None, 2048)              23587712  
  _________________________________________________________________
  batch_normalization_1 (Batch (None, 2048)              8192      
  _________________________________________________________________
  dropout_1 (Dropout)          (None, 2048)              0         
  _________________________________________________________________
  dense_1 (Dense)              (None, 512)               1049088   
  _________________________________________________________________
  dropout_2 (Dropout)          (None, 512)               0         
  _________________________________________________________________
  dense_2 (Dense)              (None, 101)               51813     
  =================================================================
  Total params: 24,696,805
  Trainable params: 1,104,997
  Non-trainable params: 23,591,808
  _________________________________________________________________
  

Answer 1

试试这个

datagen = ImageDataGenerator(rescale=1./255, validation_split=0.4)

train_datagen = datagen.flow_from_directory('data/train/', seed=42, class_mode='categorical', subset='training', target_size=(256,256))
# prints "60603 images belonging to 101 classes"
val_datagen = datagen.flow_from_directory('data/train/', seed=42, class_mode='categorical', subset='validation', target_size=(256,256)) 
# prints "15150 images belonging to 101 classes"

train_steps = len(train_datagen) #1894
val_steps = len(val_datagen) #474
classes = len(list(train_datagen.class_indices.keys())) #101

conv_base = ResNet50(weights='imagenet', include_top=False, pooling='avg', input_shape=(256, 256, 3))

from keras.layers import GlobalAveragePooling2D
from keras.layers import Dropout
from keras.layers import Flatten
from keras.layers import BatchNormalization

model = Sequential()

model.add(conv_base)
model.add(Dropout(0.2))
model.add(Dense(128, activation='relu'))
model.add(Dropout(0.3))
model.add(Dense(classes, activation='softmax'))

conv_base.trainable = False

from keras.optimizers import Adam

model.compile(loss='categorical_crossentropy',
              optimizer=Adam(),
              metrics=['acc','top_k_categorical_accuracy'])

history = model.fit_generator(
    train_datagen,
    steps_per_epoch=train_steps,
    epochs=50,
    verbose=2,
    validation_data=val_datagen,
    validation_steps=val_steps
)

Answer 2

减少模型中的冻结层（或增加可训练层）。我遇到了同样的问题，然后我用我的数据训练了一半的层，准确性大大提高。

Answer 3

验证准确性低的原因与模型的构建方式有关。有理由认为迁移学习在这种情况下会很有效。然而，你的前1名和前5名分别接近1/101和5/101。这表明您的模型是偶然进行分类的，并且尚未了解数据集的潜在信号(特征)。因此，迁移学习在这种情况下不起作用。然而，这确实意味着它永远不会工作。

我重复了你的实验，我得到了相同的结果，即前1和前5的精度反映了随机选择的分类。然而，我随后解冻了ResNet50模型的层，并重复了实验。这只是进行迁移学习的一种稍微不同的方法。经过10个阶段的训练，我得到了以下结果：

Epoch 10/50 591/591 [===========================================] - 1492秒 3s/步 - 损耗： 1.0594 - 精度： 0.7459 - val_loss： 1.1397 - val_accuracy： 0.7143

这并不完美。然而，该模型尚未收敛，还有一些预处理步骤可用于进一步改进结果。

您观察的原因在于，冻结的ResNet50模型是根据与Food101数据集根本不同的图像分布进行训练的。数据分布中的这种不匹配导致html" target="_blank">性能不佳，因为冻结网络执行的转换未调整到Food101图像。解冻网络可以让神经元实际学习Food101图像，这是获得更好结果的原因。

希望这对你有帮助。