在Tensorflow估计器中，如何获得列车损失并评估每个全局步骤的损失？

Question

我每一步都能得到训练损失。但我确实想在tensorboard中的图'lossxx'中添加评估损失。怎么做？

  class MyHook(tf.train.SessionRunHook):
    def after_run(self,run_context,run_value):
      _session = run_context.session
      _session.run(_session.graph.get_operation_by_name('acc_op'))

  def my_model(features, labels, mode):
    ...
    logits = tf.layers.dense(net, 3, activation=None)
    predicted_classes = tf.argmax(logits, 1)
    if mode == tf.estimator.ModeKeys.PREDICT:
      predictions = {
        'class': predicted_classes,
        'prob': tf.nn.softmax(logits)
      }
      return tf.estimator.EstimatorSpec(mode, predictions=predictions)

    # Compute loss.
    loss = tf.losses.sparse_softmax_cross_entropy(labels=labels, logits=logits)
    acc, acc_op = tf.metrics.accuracy(labels=labels,   predictions=predicted_classes)
    tf.identity(acc_op,'acc_op')
    loss_sum = tf.summary.scalar('lossxx',loss)
    accuracy_sum = tf.summary.scalar('accuracyxx',acc)
    merg = tf.summary.merge_all()

    # Create training op.
    if mode == tf.estimator.ModeKeys.TRAIN:
      optimizer = tf.train.AdagradOptimizer(learning_rate=0.1)
      train_op = optimizer.minimize(loss,  global_step=tf.train.get_global_step())
      return tf.estimator.EstimatorSpec(mode, loss=loss, train_op=train_op,
                                      training_chief_hooks=[
                                            tf.train.SummarySaverHook(save_steps=10, output_dir='./model', summary_op=merg)])

    return tf.estimator.EstimatorSpec(
        mode, loss=loss, eval_metric_ops={'accuracy': (acc, acc_op)}
    )


  classifier.train(input_fn=train_input_fn, steps=1000,hooks=[ MyHook()])

Answer 1

您需要通过使用tf.estimator.train_and_evaluate将评估数据与训练数据一起传递给模型

Answer 2

实际上，您不需要自己创建一个SummarySaverHook，因为它已经包含在tf中。估计员。估计器。只需使用tf创建您想要的所有摘要。总结xxx并且每个n步骤都将对其进行评估。（请参见tf.estimator.RunConfig）。

此外，您无需为最终损失创建摘要损失。这也将自动为您创建。如果您这样做，那么培训和评估摘要将显示在TensorBoard上的相同图表中。估计器在您当前的model\u dir中创建一个子目录eval，以实现此目的。

还有一个小提示：直接在摘要中使用acc_op来更新度量值并获取它的值。但是，tf.metrics函数相当难处理；-）