将Keras模型的损失函数乘以某个常数C，并将其学习速率除以C

Question

“在Keras中，如果将模型的损失函数乘以某个常数C，并将学习率除以C，则训练过程中不会出现差异”，这是真的吗？

我有一个由Keras实现的模型。我将损失函数定义为：

def my_loss(y_true, y_est): 
     return something

在第一个场景中，我使用学习率等于0.005的Adam优化器，并且我用那个损失函数和优化器编译模型。我在一组训练数据上拟合该模型，并且我观察到它的损失在不到100个时期内从0.2下降到0.001。

在第二种情况下，我将损失函数改为:

def my_loss(y_true, y_est):
    return 1000 * something

优化器的学习率为0.000005。然后我用新的损失函数和优化器编译模型，看看它的损失函数会发生什么。< br >在我的理解中，由于新损失的梯度是先前梯度的1000倍，并且新的学习速率是先前学习速率的0.001倍，所以在第二种情况下，损失函数应该在不到100个时期内从200下降到1。但令人惊讶的是，我观察到损失函数卡在200左右，几乎不减。

有人对此有任何理由吗？

Answer 1

如果您尝试使用 SGD，结果将是您所期望的。但是，损失规模对亚当没有影响。我建议你去理解那些关于亚当的公式。因此，您刚刚更改了网络的学习速率，并且学习速率对于您的网络来说太小了。