如何在Tensorflow中设置分层学习率？

Question

我想知道是否有一种方法可以对Caffe中的不同层使用不同的学习率。我正在尝试修改预训练的模型，并将其用于其他任务。我想要的是加快对新添加的层的培训，并使受过培训的层保持较低的学习率，以防止它们变形。例如，我有一个5转换层的预训练模型。现在，我添加一个新的转换层并对其进行微调。前5层的学习率为0.00001，后5层的学习率为0.001。任何想法如何实现这一目标？

Answer 1

使用2个优化器可以很容易地实现它：

var_list1 = [variables from first 5 layers]
var_list2 = [the rest of variables]
train_op1 = GradientDescentOptimizer(0.00001).minimize(loss, var_list=var_list1)
train_op2 = GradientDescentOptimizer(0.0001).minimize(loss, var_list=var_list2)
train_op = tf.group(train_op1, train_op2)

此实现的一个缺点是，它在优化器内部两次计算tf.gradients（。），因此就执行速度而言可能不是最佳的。可以通过显式调用tf.gradients（。），将列表分成2个并将相应的梯度传递给两个优化器来缓解这种情况。

编辑：添加了更有效但更长的实现：

var_list1 = [variables from first 5 layers]
var_list2 = [the rest of variables]
opt1 = tf.train.GradientDescentOptimizer(0.00001)
opt2 = tf.train.GradientDescentOptimizer(0.0001)
grads = tf.gradients(loss, var_list1 + var_list2)
grads1 = grads[:len(var_list1)]
grads2 = grads[len(var_list1):]
tran_op1 = opt1.apply_gradients(zip(grads1, var_list1))
train_op2 = opt2.apply_gradients(zip(grads2, var_list2))
train_op = tf.group(train_op1, train_op2)

您可以tf.trainable_variables()用来获取所有训练变量并决定从中选择。不同之处在于，在第一个实现tf.gradients(.)中，优化器内部被两次调用。这可能会导致执行一些冗余操作（例如，第一层上的渐变可以将某些计算重新用于后续层的渐变）。