Keras fit_generator和fit结果不同

Question

我正在用人脸图像数据集训练一个卷积神经网络。该数据集有10,000个尺寸为700x700的图像。我的模型有12层。我正在使用生成器函数将图像读取到Keras fit_generator函数中，如下所示。

train_file_names==>包含训练实例文件名的Python列表
train_class_labels==>一个热编码类标记的数组([0,1,0],[0,0,1]等）
train_data==>训练实例的数组
train_steps_epoch==>16（批大小为400，我有6400个实例用于训练，因此一次通过整个数据集需要16次迭代）
batch_size==>400
calls_made==>当生成器到达训练实例的末尾时，它会重置索引以从下一个时期的第一个索引加载数据。

我将此生成器作为参数传递给keras的'fit_generater'函数，以生成每个历元的新数据批。

val_data,val_class_labels==>验证数据个数组
epochs==>epochs个数

使用Keras fit_generator:

model.fit_generator(generator=train_generator, steps_per_epoch=train_steps_per_epoch, epochs=epochs, use_multiprocessing=False, validation_data=[val_data, val_class_labels], verbose=True, callbacks=[history, model_checkpoint], shuffle=True, initial_epoch=0) 

代码

def train_data_generator(self):     
    index_start = index_end = 0 
    temp = 0
    calls_made = 0

    while temp < train_steps_per_epoch:
        index_end = index_start + batch_size
        for temp1 in range(index_start, index_end):
            index = 0
            # Read image
            img = cv2.imread(str(TRAIN_DIR / train_file_names[temp1]), cv2.IMREAD_GRAYSCALE).T
            train_data[index]  = cv2.resize(img, (self.ROWS, self.COLS), interpolation=cv2.INTER_CUBIC)
            index += 1       
        yield train_data, self.train_class_labels[index_start:index_end]
        calls_made += 1
        if calls_made == train_steps_per_epoch:
            index_start = 0
            temp = 0
            calls_made = 0
        else:
            index_start = index_end
            temp += 1  
        gc.collect()

fit_generator的输出

86/300
16/16纪元[

我的问题是，在使用具有上述生成器功能的fit_generator时，我的模型丢失没有得到任何改善，并且验证精度非常差。但是当我使用keras的fit函数时，模型损失减少了，验证精度也提高了很多。

在不使用生成器的情况下使用Keras fit函数

model.fit(self.train_data, self.train_class_labels, batch_size=self.batch_size, epochs=self.epochs, validation_data=[self.val_data, self.val_class_labels], verbose=True, callbacks=[history, model_checkpoint])    

使用fit函数训练时输出

Epoch 25/300
6400/6400CC:0.7795
Epoch 32/300
6400/6400[=================================================================================================================================================]-20秒3ms/步进-损耗：0.0106-Acc:0.9969-

Answer 1

您必须确保您的数据生成器在各个时期之间对数据进行洗牌。我建议您在循环外部创建一个可能的索引列表，使用random.shuffle将其随机化，然后在循环内部迭代。

来源:https://github.com/keras-team/keras/issues/2389和自己的经验。