Keras：批量归一化（轴=1）的秩为0

Question

我试图在Keras中创建一个带有输入（批次、通道（3）、64、32）的神经网络，但我使用批次标准化时出现了错误（因为错误从提到的层开始，我选择隔离导致错误的部分）。模型开始如下：

input_imgC = Input(shape=(X.shape[1], X.shape[2], X.shape[3]))
x = Conv2D(32, (5, 5), activation='relu', padding='same', data_format="channels_first")(input_imgC) 
out = BatchNormalization(axis=1)(x)

我收到以下异常：

对于输入形状为[1,32,1,1]，“batch\u normalization\u 1/cond/Reformate\u 4”（操作：“Reformate”）的形状必须为秩1，但为秩0。

我认为数据从卷积层转换得很糟糕，这就是为什么我尝试了没有批量归一化的模型。模型：

input_imgC = Input(shape=(X.shape[1], X.shape[2], X.shape[3]))
out = Conv2D(32, (5, 5), activation='relu', padding='same', data_format="channels_first")(input_imgC) 

正确制作了以下摘要：

图层（类型）输出形状参数#
=================================================================

conv2d_1（Conv2D）（无，32, 64, 32) 2432
================================================================= 总计参数：2,432个可训练参数：2,432个不可训练参数：0

我知道我可以用

out=批次标准化（轴=-1）（x）

将模型输入为（批处理，64，32，通道（3）），它将工作（我已经尝试过了），但我需要在开始时配置通道，以便使用显示对象显著性的包测试模型。

有人知道在这里该做什么吗？

Answer 1

我不知道问题是什么，这似乎是一个Keras bug（更新版本或在GitHub上搜索问题可能会显示出这方面的提示）。

我的建议是，像往常一样，在开始时排列维度，并在最后使用所有内容作为通道。

最后，如果输出是图像，请将尺寸恢复到所需的顺序。

input_imgC = Input(shape=(X.shape[1], X.shape[2], X.shape[3]))
x = Lambda(lambda inputs: K.permute_dimensions(inputs,(0,2,3,1)))(input_imgC)

x = Conv2D(32, (5, 5), activation='relu', padding='same')(x) 
x = BatchNormalization()(x)

out = .......
out = Lambda(lambda inputs: K.permute_dimensions(inputs,(0,3,1,2)))(out)

提示：

理想情况下，我会在relu之前使用批处理规范化。这将relu变成一种安全的激活，很少被冻结，如果不小心使用，这是不正确的。

x = Conv2D(..., activation='linear')(x) #or no activation
x = BatchNormalization()(x)
x = Activation('relu')(x)

使用其他激活（如sigmoid和tanh）进行此操作有一些好处，因为批处理规范化可能有助于逃离饱和区域。