如何计算Tensorflow中的所有二阶导数（仅是Hessian矩阵的对角线）？

Question

我有一个 损失 值/函数，我想计算一个张量 f
（大小为n）的所有二阶导数。我设法使用了tf.gradients两次，但是当第二次应用它时，它将求和第一个输入的导数求和（请参见我的代码中的
second_derivatives ）。

另外，我设法检索了Hessian矩阵，但我只想计算其对角线，以避免进行过度计算。

import tensorflow as tf
import numpy as np

f = tf.Variable(np.array([[1., 2., 0]]).T)
loss = tf.reduce_prod(f ** 2 - 3 * f + 1)

first_derivatives = tf.gradients(loss, f)[0]

second_derivatives = tf.gradients(first_derivatives, f)[0]

hessian = [tf.gradients(first_derivatives[i,0], f)[0][:,0] for i in range(3)]

model = tf.initialize_all_variables()
with tf.Session() as sess:
    sess.run(model)
    print "\nloss\n", sess.run(loss)
    print "\nloss'\n", sess.run(first_derivatives)
    print "\nloss''\n", sess.run(second_derivatives)
    hessian_value = np.array(map(list, sess.run(hessian)))
    print "\nHessian\n", hessian_value

我的想法是 tf.gradients（first_derivatives，f [0，0]）[0]
可以检索例如关于f_0的二阶导数，但似乎张量流不允许从张量的切片中得出。

Answer 1

现在考虑一下tf.hessians，

tf.hessians(loss, f)

https://www.tensorflow.org/api_docs/python/tf/hessians