pytorch-损失。backward（）和优化器。是否在评估模式下使用batch Normal图层执行步骤（）？

Question

我有一个ResNet-8网络，我正在用于图像上的域适应项目，基本上我已经在数据集上训练了网络，现在我想在另一个模拟实时环境的数据集上评估它，我试图一次预测一个图像，但有趣的部分来了：

我想对目标数据集进行评估的方法是，对每幅图像，在训练模式下向前传递，以便更新批次规范层统计信息（使用torch.no\u grad（），因为我不想更新网络参数，而只想“适应”批次规范层），然后在评估模式下进行另一次前向传递，以获得实际预测，这样批次标准层将基于迄今为止看到的整个图像集使用均值和方差（不仅是该批次的图像，在这种情况下是单个图像）：

optimizer.zero_grad()
model.train()
with torch.no_grad():
  output_train = model(inputs)
model.eval()
output_eval = model(inputs)
loss = criterion(output_eval, targets)

我的想法是，只需将批处理规范层更新为新的目标分布，即可进行域自适应。

这样做之后，我得到了60%的准确率。现在，如果我再加上另外两行，我可以达到大约80%的精确度：

loss.backward()
optimizer.step()

因此，我的问题是，如果在eval模式下执行backward（）和step（），会发生什么？因为我知道train和eval模式之间批次规范和退出层的不同行为，我也知道torch。no\u grad（）以及如何计算梯度，然后由优化器更新参数，但我无法找到有关我的特定问题的任何信息。

我认为既然模型是在评估模式下设置的，那两条线应该是无用的，但是很明显发生了一些事情，这是否与批处理范数层的仿射参数有关？

更新：好吧，我误解了一些事情：评估模式不会阻止要更新的参数，它只会改变某些层（批处理范数和dropout）在向前传递期间的行为，对吗？因此，对于这两条线，我实际上是在训练网络，因此精度更高。无论如何，如果批处理范数仿射设置为真，这会改变什么吗？这些参数被认为是optimizer.step（）期间要更新的“正常”参数还是不同？

Answer 1

评估模式不会阻止要更新的参数，它只会在向前传球过程中改变某些层的行为（批次标准和退出），对吗？

真实。

因此，对于这两行，我实际上是在训练网络，因此精度更高。无论如何，如果批处理范数仿射设置为真，这会改变什么吗？这些参数被认为是optimizer.step（）期间要更新的“正常”参数还是不同？

BN参数在优化器步骤中更新。外观：

    if self.affine:
        self.weight = Parameter(torch.Tensor(num_features))
        self.bias = Parameter(torch.Tensor(num_features))
    else:
        self.register_parameter('weight', None)
        self.register_parameter('bias', None)