如何判断我的神经网络是否由于内存错误而崩溃？

Question

我正试图通过一台笔记本电脑训练神经网络的能力来校准我的期望值。我正在使用tensorflow和keras，大约10分钟后，它崩溃了。我看到了killsignal 9退出代码137，我想知道这是否是因为内存不足？其他时候，当一个热编码使用np\u utils.to\u category（）时，我在控制台中看到单词memoryerror，就是这样，我的脚本崩溃了。这只是试图在神经网络运行之前将输出转换为它所期望的。我有6400个输入和1500个输出，还有一个由100个节点组成的小隐藏层。批量128。就这样。甚至都不深。无论是使用nvidia gpu还是4核cpu，它都会崩溃。对于专业人士，我的网络是否太大，无法在我的系统上进行训练（i7 4核，16gb ram，nvidia GT 750m，计算能力3.0）。我的神经网络算大吗？顺便说一句，我有300万个样品。

1） 如何估计网络所需的内存量？它是否6400（#输入）*1500（#输出）*4字节（每个参数）=38.4 gb？我能看看mac电脑某处实时使用了多少内存吗？我用过活动监视器，记忆压力表正常。2） GPU的最大内存通常为8gb-12gb，而台式机上的CPU很容易达到64GB。因此，如果我的网络内存需求超过8gb的RAM，是否不可能在单个GPU上进行训练？3） 批处理大小和批处理训练之间有什么区别，特别是在记忆方面？非常感谢。

Answer 1

查找神经网络的内存需求不仅取决于网络的大小或参数本身的数量。为了计算神经网络的记忆足迹，我经常去的一个文档是斯坦福CS231n视觉识别卷积神经网络课程笔记。请看一下他们找到网络每一层的内存需求的部分。

此外，批处理大小（每个批处理的输入数量）是决定“内存使用”的关键因素。例如，在较新的NVIDIA P100 GPU中，如果我训练CIFAR10模型，我可以每批处理多达2048张图像，如果我在ImageNet数据集上训练AlexNet，则可以处理少于512或256张图像。输入大小很重要，批处理大小也很重要，因为GPU内存需要考虑批处理的输入。

测试批量大小的一种方法是执行nvidia-smi并查看使用了多少内存。由于时不时地这样做很无聊，我通常会在我的Linux机器上观看nvidia-smi。在我的MAC中，我没有安装NVIDIA GPU，所以我很少使用这些技巧。当我想，我会写这样的快速bash脚本：

while true; do nvidia-smi; sleep 0.5; clear; done

您也可以在Mac中安装端口安装watch。

另外，我最喜欢的两个工具是htop和dstat。

htop为Linux中著名的top命令提供了更好的图形界面。它为您提供有关内存和处理器使用情况以及不同进程的实时信息。如果您允许sudo访问htop，您可以直接从界面更改niceness和其他参数。

dstat为您提供有关I/O的实时信息。在大多数情况下，我将添加两个标志-d和-n以仅指定磁盘和网络使用情况。

幸运的是，htop可以通过运行以下命令在Mac上安装：

brew install htop

另一方面，dstat不能直接使用。请查看ifstat或istatat以了解类似的功能。

Answer 2

您的乘法计算是正确的，但是，您处理的是百万字节而不是十亿字节。实际的需求是6400*100*4 100*1500*4，如果使用默认的Float32，应该是4 MB。您将两个后续层的层大小相乘，因为每个神经元都连接到后续层中的每个神经元。然后整个内存需求乘以批量大小。这就是为什么使用卷积层来训练深度网络。

对于gpu，我使用nvidia smi来监控linux上的内存需求。谷歌搜索给了我这个关于mac的信息：https://phvu.net/2015/03/30/nvidia-smi-on-macos/. 如果内存需求超过GPU内存，则无法在GPU上对其进行训练。您可以在cpu上训练它，但这需要很长时间。

使用大型训练集进行训练有多种方法。通常情况下，发电机用于批量培训。这意味着只加载您实际需要的部分训练集(https://keras.io/getting-started/faq/#how-can-i-use-keras-with-datasets-that-not-fit-in-memory）。