Tensorflow资源耗尽，但未耗尽任何资源

Question

我正在我的GTX 1060 6gb上使用Python中的Tensorflow 1.2训练LSTM。

在每个时代，我用这种方法保存模型：

def save_model(self,session,epoch,save_model_path):

    save_path = self.saver.save(session, save_model_path + "lstm_model_epoch_" + str(epoch) + ".ckpt")
    print("Model saved in file: %s" % save_path)

一切正常，但在九个时代之后，当我试图用这种方法保存模型时，我得到了ResourceExhaustedError。

我在培训期间检查了我的资源，但没有耗尽任何资源。

我得到的错误如下：

2017-06-29 12:43:02.865845： W tenstorflow/core/框架/op_kernel.cc:1158]资源耗尽：log/example_0/lstm_models/lstm_model_epoch_9.ckpt.data-00000-of-00001.tempstate10865381291487648358 Traceback（最近一次调用）：File"main.py"，第32行，在File"/home/alb3rto/Scrivania/Tesi中/sentiment_classification/text_lstm/LSTM_sentence.py"，第306行，在train_lstmFile"/home/alb3rto/Script/Tesi/sentiment_classification/text_lstm/LSTM_sentence.py"，第449行，在save_modelFile"/home/alb3rto/anaconda2/envs/tesi/lib/python2.7/site-包/tensorflow/python/训练/saver.py"，第1472行，在另存File"/home/alb3rto/anaconda2/envs/tesi/lib/python2.7/site-包/tensorflow/python/客户端/session.py"，第789行，在运行File"/home/alb3rto/anaconda2/envs/tesi/lib/python2.7/site-包/tensorflow/python/客户端/session.py"，第997行，在_runFile"/home/alb3rto/anaconda2/envs/tesi/lib/python2.7/site-包/tenorflow/python/客户端/session.py"，第1132行，在_do_runFile"/home/alb3rto/anaconda2/envs/tesi/lib/python2.7/site-包/tenorflow/python/客户端/session.py"，行1152，_do_calltensorflow.python.framework.errors_impl。ResourceExhaustedError： log/example_0/lstm_models/lstm_model_epoch_9.ckpt.data-00000-of-00001.tempstate10865381291487648358[[节点：保存/SaveV2=SaveV2[dtype=[DT_FLOAT，DT_FLOAT，DT_FLOAT，DT_FLOAT，DT_FLOAT，DT_FLOAT，DT_FLOAT，DT_FLOAT，DT_FLOAT，DT_FLOAT，DT_FLOAT，DT_FLOAT，DT_FLOAT，DT_FLOAT]，_device="/作业：localhost/replica：0/任务：0/cpu： 0"]（_arg_save/Const_0_0，保存/SaveV2/tensor_names，保存/SaveV2/shape_and_slices，变量/_21，变量/亚当/_23，变量/Adam_1/_25，Variable_1/_27，Variable_1/亚当/_29，Variable_1/Adam_1/_31，beta1_power/_33，beta2_power/_35，rnn/basic_lstm_cell/偏置/_37，rnn/basic_lstm_cell/偏置/亚当/_39，rnn/basic_lstm_cell/偏置/Adam_1/_41，rnn/basic_lstm_cell/内核/_43，rnn/basic_lstm_cell/内核/亚当/_45，rnn/basic_lstm_cell/内核/Adam_1/_47）]]由操作u'保存/SaveV2'引起，定义于：文件main.py，第28行，在lstm_sentence=lstm（）File"/home/alb3rto/Script/Tesi/sentiment_classification/text_lstm/LSTM_sentence.py"，第18行，在init File"/home/alb3rto/Script/Tesi/sentiment_classification/text_lstm/LSTM_sentence.py"中，第117行，在build_lstmFile"/home/alb3rto/anaconda2/envs/tesi/lib/python2.7/site-包/tensorflow/python/培训/saver.py"中，第1139行，在initself.build（）File"/home/alb3rto/anaconda2/envs/tesi/lib/python2.7/site-包/tensorflow/python/训练/saver.py"，第1170行，在构建restore_sequentially=自己。_restore_sequentially）File"/home/alb3rto/anaconda2/envs/tesi/lib/python2.7/site-包/Tensorflow/python/训练/saver.py"，第689行，在构建save_tensor=自我中。_AddSaveOps（filename_tensor，可保存）File"/home/alb3rto/anaconda2/envs/tesi/lib/python2.7/site-包/tenorflow/python/训练/saver. py"，第276行，在_AddSaveOps保存=自己。save_op（filename_tensor，可保存）File"/home/alb3rto/anaconda2/envs/tesi/lib/python2.7/site-包/tenorflow/python/训练/saver. py"，第219行，在save_op张量）文件"/home/alb3rto/anaconda2/envs/tesi/lib/python2.7/site-包/tensorflow/python/ops/gen_io_ops. py"，第745行，在save_v2文件"/home/alb3rto/anaconda2/envs/tesi/lib/python2.7/site-包/tenorflow/python/框架/op_def_library. py"，第767行，在apply_op文件"/home/alb3rto/anaconda2/envs/tesi/lib/python2.7/site-packages/tensorflow/python/framework/ops.py"，第2506行，create_oporiginal_op=自我。_default_original_op，op_def=op_def）File"/home/alb3rto/anaconda2/envs/tesi/lib/python2.7/site-包/tensorflow/python/框架/ops. py"，第1269行，init自我。_traceback=_extract_stack（）ResourceExhaustedError（见上文回溯）：log/example_0/lstm_models/lstm_model_epoch_9. ckpt. data-00000-of-00001. temstate10865381291487648358[[节点：保存/SaveV2=SaveV2[dtype=[DT_FLOAT，DT_FLOAT，DT_FLOAT，DT_FLOAT，DT_FLOAT，DT_FLOAT，DT_FLOAT，DT_FLOAT，DT_FLOAT，DT_FLOAT，DT_FLOAT，DT_FLOAT，DT_FLOAT，DT_FLOAT]，_device="/作业：localhost/复制：0/任务：0/cpu：0"]（_arg_save/Const_0_0，保存/SaveV2/tensor_names，保存/SaveV2/shape_and_slices，变量/_21，变量/亚当/_23，变量/Adam_1/_25，Variable_1/_27，Variable_1/亚当/_29，Variable_1/Adam_1/_31，beta1_power/_33，beta2_power/_35，rnn/basic_lstm_cell/偏倚/_37，rnn/basic_lstm_cell/偏倚/亚当/_39，rnn/basic_lstm_cell/偏倚/Adam_1/_41，rnn/basic_lstm_cell/kernel/_43， rnn/basic_lstm_cell/内核/亚当/_45， rnn/basic_lstm_cell/内核/Adam_1/_47）]

我怎么才能修好它？

Answer 1

当在GPU上遇到OOM或ResourceExausted Error时，我相信首先尝试更改（减少）批量大小是正确的选择。

对于不同的GPU，您可能需要不同的批量大小，具体取决于您拥有的GPU内存。

最近我遇到了类似的问题，做了很多不同类型的实验。

这是问题的链接（也包括一些技巧）。

然而，在减少批次大小的同时，您可能会发现您的训练变得更慢。所以如果你有多个GPU，你可以使用它们。要检查你的GPU，你可以在终端上写，

nvidia-smi

它将显示你的gpu机架的必要信息。