Pytorch Batch范数层不同于Keras Batch范数

Question

我试图将预训练的BN权重从pytorch模型复制到其等效的Keras模型，但我一直得到不同的输出。

我阅读了Keras和Pytorch BN文档，我认为差异在于它们计算“平均值”和“var”的方式。

Pytorch：

平均值和标准偏差是按小批量的每个尺寸计算的

来源：Pytorch BatchNorm

因此，他们对样本进行平均。

Keras：

轴：整数，应规格化的轴（通常是特征轴）。例如，在具有data\u format=“channels\u first”的Conv2D层之后，在BatchNormalization中设置axis=1。

资料来源：Keras BatchNorm

在这里，它们对特征（通道）进行平均

正确的方法是什么？如何在模型之间传递BN权重？

Answer 1

您可以从pytorch模块的running_mean和running_var属性中检索moving_mean和moving_variance

# torch weights, bias, running_mean, running_var corresponds to keras gamma, beta, moving mean, moving average

weights = torch_module.weight.numpy()  
bias = torch_module.bias.numpy()  
running_mean =  torch_module.running_mean.numpy()
running_var =  torch_module.running_var.numpy()

keras_module.set_weights([weights, bias, running_mean, running_var])