在Keras中，我在哪里调用BatchNormalization函数？

Question

如果我想在Keras中使用BatchNormize函数，那么我需要在开始时只调用一次吗？

我阅读了以下文档：http://keras.io/layers/normalization/

我不知道应该在哪里调用它。下面是我试图使用它的代码：

model = Sequential()
keras.layers.normalization.BatchNormalization(epsilon=1e-06, mode=0, momentum=0.9, weights=None)
model.add(Dense(64, input_dim=14, init='uniform'))
model.add(Activation('tanh'))
model.add(Dropout(0.5))
model.add(Dense(64, init='uniform'))
model.add(Activation('tanh'))
model.add(Dropout(0.5))
model.add(Dense(2, init='uniform'))
model.add(Activation('softmax'))

sgd = SGD(lr=0.1, decay=1e-6, momentum=0.9, nesterov=True)
model.compile(loss='binary_crossentropy', optimizer=sgd)
model.fit(X_train, y_train, nb_epoch=20, batch_size=16, show_accuracy=True, validation_split=0.2, verbose = 2)

我这样问是因为如果我用第二行运行代码，包括批处理规范化，如果我不使用第二行运行代码，我会得到类似的输出。因此，要么我没有在正确的位置调用函数，要么我想这没有多大区别。

Answer 1

关于BN是应该在当前层的非线性之前应用，还是应该在前一层的激活之前应用，该线程有一些相当大的争议。

虽然没有正确的答案，但批量标准化的作者表示，它应该在当前层非线性之前立即应用。原因（引自原文）-

“我们在非线性之前添加BN变换，通过归一化x=Wu b。我们还可以归一化层输入u，但由于u可能是另一个非线性的输出，其分布的形状可能会在训练期间发生变化，限制其第一和第二阶矩不会消除协变量偏移。相反，Wu b更可能具有对称性tric，非稀疏分布，即“更高斯”（Hyv¨arinen

Answer 2

这条线索有误导性。我试着对卢卡斯·拉马丹的回答发表评论，但我还没有合适的特权，所以我就把这个放在这里。

批次标准化在激活函数之后效果最好，原因如下：它是为了防止内部协变量转移而开发的。当一层的激活分布在整个训练过程中发生显著变化时，就会发生内部协变量变化。使用批次标准化，以便输入（这些输入实际上是激活函数的结果）到特定层的分布不会因每个批次的参数更新而随时间变化（或至少允许以有利的方式变化）。它使用批次统计信息进行规格化，然后使用批次规格化参数（原稿中的gamma和beta）“确保插入网络的转换可以表示身份转换”（引用原稿）。但关键是，我们正在尝试将输入规范化到一个层，因此它应该始终位于网络中的下一层之前。这是否在激活功能之后取决于所讨论的体系结构。

Answer 3

只是为了更详细地回答这个问题，正如Pavel所说，批量规范化只是另一层，因此您可以使用它来创建所需的网络架构。

一般用例是在网络中的线性和非线性层之间使用BN，因为它标准化了激活函数的输入，因此您位于激活函数的线性部分（例如Sigmoid）的中心。这里有一个小讨论

在上述情况下，这可能如下所示：

# import BatchNormalization
from keras.layers.normalization import BatchNormalization

# instantiate model
model = Sequential()

# we can think of this chunk as the input layer
model.add(Dense(64, input_dim=14, init='uniform'))
model.add(BatchNormalization())
model.add(Activation('tanh'))
model.add(Dropout(0.5))

# we can think of this chunk as the hidden layer    
model.add(Dense(64, init='uniform'))
model.add(BatchNormalization())
model.add(Activation('tanh'))
model.add(Dropout(0.5))

# we can think of this chunk as the output layer
model.add(Dense(2, init='uniform'))
model.add(BatchNormalization())
model.add(Activation('softmax'))

# setting up the optimization of our weights 
sgd = SGD(lr=0.1, decay=1e-6, momentum=0.9, nesterov=True)
model.compile(loss='binary_crossentropy', optimizer=sgd)

# running the fitting
model.fit(X_train, y_train, nb_epoch=20, batch_size=16, show_accuracy=True, validation_split=0.2, verbose = 2)

希望这能进一步澄清问题。