预测取决于Keras中的批量大小

Question

我正在尝试使用keras对图像进行二值分类。

我的CNN模型对训练数据进行了良好的训练（训练准确率约为90%，验证准确率约为93%）。但在培训期间，如果我将批量大小设置为15000，则得到图I输出，如果我将批量大小设置为50000，则得到图II输出。有人能告诉我怎么了吗？预测不应该取决于批量大小，对吗？

我用于预测的代码：

y=model.predict_classes（补丁，batch_size=50000，详细=1）y=y.reshape（（256,256））

我的型号：-

model = Sequential()

model.add(Convolution2D(32, 3, 3, border_mode='same',
                        input_shape=(img_channels, img_rows, img_cols)))
model.add(Activation('relu'))
model.add(Convolution2D(32, 3, 3))
model.add(Activation('relu'))
model.add(MaxPooling2D(pool_size=(2, 2)))
model.add(Dropout(0.25))

model.add(Convolution2D(64, 3, 3, border_mode='same'))
model.add(Activation('relu'))
model.add(Convolution2D(64, 3, 3))
model.add(Activation('relu'))
model.add(MaxPooling2D(pool_size=(2, 2)))
model.add(Dropout(0.25))

model.add(Flatten())
model.add(Dense(512))
model.add(Activation('relu'))
model.add(Dropout(0.5))
model.add(Dense(nb_classes))
model.add(Activation('softmax'))

# let's train the model using SGD + momentum (how original).
sgd = SGD(lr=0.01, decay=1e-6, momentum=0.9, nesterov=True)
model.compile(loss='categorical_crossentropy',
              optimizer=sgd,
              metrics=['accuracy'])

Answer 1

我有类似的问题，我认为这与GPU的非确定性有关——在CPU上结果是相同的，在GPU（RTX 2080Ti和RTX 3090）上结果不是。我无法解决它（使用GPU的确定性选项不起作用）。

Answer 2

Keras在预测功能中自动标准化输入。标准化所需的统计数据是在一个批次上计算的，这就是为什么您的输出可能取决于批次大小。您可以通过以下方式解决此问题：

1. 如果Keras

更新：这是第二个解决方案的代码：

import theano

input = model.layers[0].input # Gets input Theano tensor
output = model.layers[-1].output # Gets output Theano tensor
model_theano = theano.function(input, output) # Compiling theano function 

# Now model_theano is a function which behaves exactly like your classifier 

predicted_score = model_theano(example) # returns predicted_score for an example argument

现在，如果您想使用这个新的NO\U模型，您应该自己标准化主数据集（例如，通过减去图像中每个像素的平均值并除以标准偏差），然后应用NO\U模型来获得整个数据集的分数（您可以在循环中迭代示例或使用numpy。沿\u轴应用\u或numpy。沿\u轴应用\u函数来执行此操作）。

更新2：为了使此解决方案生效，请进行更改

model.add(Dense(nb_classes))
model.add(Activation('softmax'))

收件人：

model.add(Dense(nb_classes, activation = "softmax"))