TensorFlow是否优化以避免不必要的图重新执行？

Question

我大致了解了TensorFlow图在评估它包含的Tensors之一时是如何评估的：该张量的run或val的执行将触发图中所需的所有级联计算计算该张量的值，因此，图中“导致它”的任何张量也将被计算，并且连接它们的任何操作都将被运行。

因此，如果我有一个包含张量out\u a的图，其计算涉及（可能在许多其他事情中）使用int\u b的操作，这反过来（最终）需要执行本身（最终）使用in的操作

a, b, o = sess.run([out_a, int_b, an_op], feed_dict={in: x})

将只评估out_a、int_b和an_op一次：out_a和int_b的计算都使用an_op的相同执行；用于提供int_b的计算与计算out_a中使用的计算相同。（例如，如果我稍后引用a，我使用的是评估张量out_a的值，因此不会进一步执行。）

但是，如果我不以这种方式合并我的操作，会发生什么

o = sess.run(an_op, feed_dict={in: x})
# ... and later yet, after I remember I need `int_b`:
b = sess.run(int_b, feed_dict={in: x})
# ... later, after I remember I need `out_a`:
a = sess.run(out_a, feed_dict={in: x})

在这种情况下，TensorFlow是否执行了任何优化以避免计算an_op第二次和第三次，以及int_b第二次，可能会触发这些计算的副作用？

Answer 1

在这种情况下，TensorFlow是否进行了任何优化，以避免第二次和第三次计算an\u op，第二次计算int\u b，从而可能触发这些计算的副作用？

不，这取决于开发人员是否记住需要执行哪些计算，并将它们全部放在SES的列表中。运行函数（按您描述的方式）。

您可以通过运行以下代码进行验证：

import tensorflow as tf
import numpy as np
from datetime import datetime

n = 3000
t = np.random.rand(n,n)
a = tf.Variable(t)
b = tf.matmul(a, a)

with tf.Session() as sess:
    sess.run(tf.global_variables_initializer())
    startTime = datetime.now()
    _ = sess.run(b)
    print datetime.now() - startTime

    startTime = datetime.now()
    _ = sess.run(b)
    print datetime.now() - startTime

    startTime = datetime.now()
    _ = sess.run(b)
    print datetime.now() - startTime

在我的机器上返回：

0:00:02.798704
0:00:02.940005
0:00:03.039798

如果数据将被缓存，第二次运行将立即返回。