GPU内存未释放tensorflow

Question

我有一个问题，我的GPU内存是没有释放后关闭在Python中的tenstorflow会话。这三行足以导致问题：

import tensorflow as tf 
sess=tf.Session() 
sess.close()

在第三行之后，内存不会被释放。我在很多论坛上走来走去，尝试了各种各样的建议，但都没有效果。有关详细信息，请参见下面我的评论：

https://github.com/tensorflow/tensorflow/issues/19731

在这里，我已经记录了我设法杀死进程并释放内存的方法，但是这对于长时间运行的自动化进程没有用。我非常感谢任何进一步的建议。我正在使用Windows。

编辑：我现在找到了一个解决方案，至少可以让我做我想做的事情。我仍然无法释放内存，但我可以“重用”它。该守则的结构如下：

import tensorflow as tf
from keras import backend as K
cfg=K.tf.ConfigProto()
#cfg.gpu_options.allow_growth=True #this is optional
cfg.gpu_options.per_process_gpu_memory_fraction = 0.8 #you can use any percentage here

#upload your data and define your model (2 layers in this case) here    

for i in range(len(neuron1)):
    for j in range(len(neuron2)):
        K.set_session(K.tf.Session(config=cfg))
        #train your NN for i,j

当脚本第一次进入循环时，GPU内存仍然被分配（在上面的示例中为80%），因此变得杂乱无章，但是这段代码似乎以某种方式重用了相同的内存。我估计K.set\u会话（K.tf.session（config=cfg））以某种方式破坏或重置旧会话，至少允许在该上下文中“重用”内存。请注意，我没有使用sess。关闭（）或K。清除会话（）或显式重置默认图形。这对我仍然不起作用。完成循环后，GPU内存仍满。

Answer 1

请参阅此讨论。可以重用分配的内存，但如果要释放内存，则必须退出Python解释器本身。