ResourceExhaustedError:分配张量时的OOM

Question

我制作了自己的AlexNet实现，其中少了一个完全连接的层，用于对102类花卉进行分类。我的培训集由11000个图像组成，而验证和培训集各有3000个图像。我以HDF5格式编写了这三个数据集，并将它们存储在磁盘上。我重新加载了它们，并尝试使用8和75个纪元的批次通过网络传递图像。但是，出现了内存错误

我已经尝试将批量大小减少到8，并将尺寸减少到400x400（原来是500x500），但没有用

tensorflow/core/platform/cpu_feature_guard.cc:141]您的cpu支持此tensorflow二进制文件未编译为使用的指令：AVX2 2019-08-23 00:19:47.336560:I tensorflow/core/common_runtime/gpu/gpu___device.cc:1433]找到了具有以下属性的设备0:name:GeForce GTX 1050 Ti major:6 minor:1 memoryClockRate（GHz）：1.62 pciBusID:0000:01:00.0 totalMemory:4.00GiB freeMemory:3.30GiB 2019-08-23 00:19:47.342432:I tensorflow/core/common_runtime/gpu/gpu设备。cc:1512]添加可见gpu设备：0 2019-08-23 00:19:47.900540:I tensorflow/core/common_runtime/gpu/gpu设备。cc:984]设备互连流强1边缘矩阵：2019-08-2300:19:47.904687:I tensorflow/core/common_runtime/gpu/gpu_device.cc:990]0 2019-08-23 00:19:47.907033:I tensorflow/core/common_runtime/gpu/gpu/gpu设备.cc:1003]0:N 2019-08-23 00:19:47.909380:I tensorflow/core/common_runtime/gpu/gpu设备.cc:1115]-

2019-08-08-23 00:20:20:50.06061236:W Tensor10-08-08-08-20:20 20:50.08-08-08-08-23 00:20:20:20:20:50.06066：W Tensor10:20:50.06066：W Tensor10：W Tensor流/核心/核心/核心/普通运行时/公共运行运行运行时/bfc C C C（中国）布布布布布布告分配器。抄：cc:2717：cc:2717：：：：：：：***************************************************：：：：：：：*********************************************************************************************************************************************************************************************************************************.cc:70:资源耗尽：分配时OOM形状为[501764096]且类型为float on/job:localhost/replica:0/task:0/device:GPU:0由分配器GPU\u 0\u bfc回溯的tensor（最后一次调用）：文件“train.py”，第80行，在max\u queue\u size=8*2，verbose=1）文件“C:\Users\aleem\Anaconda3\envs\tensorflowf\lib\site packages\tensorflow\python\keras\engine\training.py”，第1426行，在fit_generator initial_epoch=initial_epoch）文件“C:\Users\aleem\Anaconda3\envs\tensorflowf\lib\site packages\tensorflow\python\keras\engine\training_generator.py”第191行的模型迭代批处理=batch函数（*批处理数据）文件“C:\Users\aleem\Anaconda3\envs\tensorflowf\lib\site packages\tensorflow\python\keras\engine\training.py”，第1191行，在调用run\u metadata=self.run\u metadata）文件的第3076行，在批处理输出=self.\u fit\u函数（ins）\pylint:disable=不可调用文件“C:\Users\aleem\Anaconda3\envs\tensorflowf\lib\site packages\tensorflow\python\keras\backend.py”中“C:\Users\aleem\Anaconda3\envs\tensorflowf\lib\site packages\tensorflow\python\client\session.py”，第1439行，在call run\u metadata\u ptr）文件“C:\Users\aleem\Anaconda3\envs\tensorflowf\lib\site packages\tensorflow\python\framework\errors\u impl.py”，第528行，在退出C\u api.TF\u GetCode（self.status.status）中)tensorflow.python.framework.errors\u impl.ResourceExhustederError:OOM当使用形状[501764096]和类型float on/job:localhost/replica:0/task:0/device:GPU:0由分配器GPU\u 0\u bfc[{{节点训练/RMSprop/gradients/loss/kernel/regulazer\u 5/Square\u grad/Mul\u 1}]分配时]提示：如果您想在OOM发生时查看已分配的张量列表，请在OOM上添加report_tensor_allocations_on_to RunOptions以获取当前分配信息。

     [[{{node ConstantFoldingCtrl/loss/activation_6_loss/broadcast_weights/assert_broadcastable/AssertGuard/Switch_0}}]]

提示：如果您想在OOM发生时查看已分配张量的列表，请将report_tensor_allocations_upon_oom添加到RunOptions以获取当前分配信息。

Answer 1

这是因为GPU内存不能自由分配用于训练，这可能是由于内存中的数据集重载，如果不是批量的。但是您已经使用了fit_generator，所以我们可以排除这种情况，因为它提供了批量训练的数据，同时并行运行生成数据。

解决方案是检查使用GPU的进程。如果您使用的是nvidia GPU，您可以通过nvidia smi检查使用GPU的进程，或者您也可以尝试PS-fA | grep python。这将向您显示哪个进程正在运行和使用GPU。只需从PID列中获取进程ID，并通过命令kill-9PID终止进程。重新运行培训，这次您的GPU是免费的。我面临同样的问题，清除GPU对我有帮助。

• 注意-所有命令都要在终端中运行