为什么我的模型在进行正则化和批量规格化之后会过度拟合

Question

这是我的CNN模型结构。

def make_dcnn_model():
  model = models.Sequential()
  model.add(layers.Conv2D(5, (5, 5), input_shape=(9, 128,1), padding='same', strides = (1,2), activity_regularizer=tf.keras.regularizers.l1(0.001)))
  model.add(layers.LeakyReLU())
  model.add(BatchNormalization())

  model.add(layers.AveragePooling2D((4, 4), strides = (2,4)))

  model.add(layers.Conv2D(10, (5, 5),  padding='same', activity_regularizer=tf.keras.regularizers.l1(0.001)))
  model.add(layers.LeakyReLU())
  model.add(BatchNormalization())

  model.add(layers.AveragePooling2D((2, 2), strides = (1,2)))

  model.add(layers.Flatten())
  model.add(layers.Dense(50, activity_regularizer=tf.keras.regularizers.l1(0.001)))
  model.add(layers.LeakyReLU())
  model.add(BatchNormalization())

  model.add(layers.Dense(6, activation='softmax'))
  return model

结果表明，该模型与训练数据吻合较好，验证数据的验证精度波动较大。

在7352个样本上训练，在2947个样本上验证Epoch 1/3000 7352/7352[===============================================================-3s 397us/样本-损失：0.1016-精度：0.9698-val损失：4.0896-val精度：0.5816 Epoch 2/3000 7352/7352[==================================================================================================================================================================================================================================================================-2s 214us/样本-损耗：0.0965-精度：0.9727-瓦卢损耗：1.2296-瓦卢精度：0.7384历元3/3000 7352/7352[=============================================================================================================================================================================================================================================================================================================================================================================================================================================-2s 211U/样本-损耗：0.1013-精度：0.9701-val_损耗：0.5319-val_精度：0.9114历元5/3000 7352/7352[======================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================-2s 205us/样本-损耗：0.0925-精度：0.9743-瓦卢损耗：1.4033-瓦卢精度：0.7472历元7/3000 7352/7352[=============================================================================================]-1s 203us/样本-损耗：0.0948-精度：0.9740-瓦卢损耗：0.8375-瓦卢精度：0.7998

Answer 1

减少过度装配需要反复试验。有很多方法可以解决这个问题。

尝试向模型中添加更多数据，或者在处理图像时增加数据。（非常有用）

尝试通过调整层的参数来降低模型的复杂性。

试着早点停止训练。

正则化和批处理归一化非常有帮助，但是如果没有它们的过拟合，你的模型可能已经表现得更差了。尝试不同类型的正则化。

我的猜测是，通过在数据中添加更多的多样性，您的模型将不会过度拟合。