“冻结”张量流中的一些变量/作用域：stop_gradient与传递变量以最小化

Question

我正在尝试实现Adversarial
NN
，它需要在交替训练小批处理中“冻结”图形的另一部分。即有两个子网：G和D。

G( Z ) ->  Xz
D( X ) ->  Y

的损失函数G取决于D[G(Z)], D[X]。

首先，我需要在固定所有G参数的情况下训练D中的参数，然后在固定D中的参数的情况下训练G中的参数。在第一种情况下的损耗函数将在第二种情况下为负损耗函数，并且更新将必须应用于第一子网或第二子网的参数。

我看到了tensorflowtf.stop_gradient起作用。为了训练D（下游）子网，我可以使用此功能来阻止梯度流向

 Z -> [ G ] -> tf.stop_gradient(Xz) -> [ D ] -> Y

的tf.stop_gradient注释非常简洁，没有任何内联示例（示例seq2seq.py太长且不易阅读），但是看起来必须在图形创建期间调用它。
这是否意味着如果我要交替交替阻止/取消阻止梯度流，就需要重新创建并重新初始化图形模型？

而且似乎 还不能通过来阻止流经G（上游）网络的梯度tf.stop_gradient，对吗？

作为一种替代方案，我看到可以将变量列表作为传递给优化器调用opt_op = opt.minimize(cost, <list of variables>)，如果可以获取每个子网范围内的所有变量，这将是一个简单的解决方案。 可以<list of variables>给一个tf.scope买一个吗？

Answer 1

正如您在问题中提到的，实现此目标的最简单方法是使用对的单独调用来创建两个优化程序操作opt.minimize(cost, ...)。默认情况下，优化器将使用中的所有变量tf.trainable_variables()。如果要将变量过滤到特定范围，可以使用可选scope参数，tf.get_collection()如下所示：

optimizer = tf.train.AdagradOptimzer(0.01)

first_train_vars = tf.get_collection(tf.GraphKeys.TRAINABLE_VARIABLES,
                                     "scope/prefix/for/first/vars")
first_train_op = optimizer.minimize(cost, var_list=first_train_vars)

second_train_vars = tf.get_collection(tf.GraphKeys.TRAINABLE_VARIABLES,
                                      "scope/prefix/for/second/vars")                     
second_train_op = optimizer.minimize(cost, var_list=second_train_vars)