如何检查Pytork是否正在使用GPU？

Question

我想知道Pytork是否正在使用我的GPU。使用nvidiasmi可以检测在这个过程中是否有来自GPU的任何活动，但是我想要用python脚本编写一些东西。

有没有办法做到这一点？

Answer 1

匿名用户

开始运行训练循环后，如果您想从终端手动观察程序是否在使用GPU资源以及使用程度，则只需使用watch，如下所示：

$ watch -n 2 nvidia-smi

这将持续每2秒更新一次使用情况统计，直到您按下ctrlc

如果您需要更多的GPU统计数据，您可以使用更复杂的版本的nvidia-smi与--query-gpu=...。下面是一个简单的例子：

$ watch -n 3 nvidia-smi --query-gpu=index,gpu_name,memory.total,memory.used,memory.free,temperature.gpu,pstate,utilization.gpu,utilization.memory --format=csv

它会输出这样的统计数据：

注意：在--query gpu= 。否则这些值将被忽略，并且不会返回任何统计信息。

此外，您还可以通过执行以下操作检查PyTorch安装是否正确检测到CUDA安装：

In [13]: import  torch

In [14]: torch.cuda.is_available()
Out[14]: True

True状态意味着PyTorch配置正确并且正在使用GPU，尽管您必须在代码中移动/放置带有必要语句的张量。

如果要在Python代码中执行此操作，请查看此模块：

https://github.com/jonsafari/nvidia-ml-py或者在pypi中：https://pypi.python.org/pypi/nvidia-ml-py/

Answer 2

因为这里没有提出，所以我添加了一个使用torch的方法。设备，因为在正确的设备上初始化张量时，这非常方便。

# setting device on GPU if available, else CPU
device = torch.device('cuda' if torch.cuda.is_available() else 'cpu')
print('Using device:', device)
print()

#Additional Info when using cuda
if device.type == 'cuda':
    print(torch.cuda.get_device_name(0))
    print('Memory Usage:')
    print('Allocated:', round(torch.cuda.memory_allocated(0)/1024**3,1), 'GB')
    print('Cached:   ', round(torch.cuda.memory_reserved(0)/1024**3,1), 'GB')

编辑：火炬。库达。缓存的内存已重命名为torch。库达。保留内存。因此，对于较旧的版本，请使用缓存的内存。

输出：

Using device: cuda

Tesla K80
Memory Usage:
Allocated: 0.3 GB
Cached:    0.6 GB

如上所述，使用设备可以：

>

  torch.rand(10).to(device)

要直接在设备上创建张量：

  torch.rand(10, device=device)

这使得CPU和GPU之间的切换舒适而无需更改实际代码。

由于对缓存和分配的内存存在一些问题和困惑，我将添加一些关于它的附加信息：

>

torch.cuda.max_memory_cached（设备=无）返回给定设备的缓存分配器管理的最大GPU内存（以字节为单位）。


torch.cuda.memory_allocated（设备=无）返回给定设备的当前GPU内存使用情况，按张量以字节为单位。


你可以直接交出一个设备，如上文在文章中进一步说明的那样，也可以不交出任何设备，它将使用当前的设备（）。

附加说明：具有Cuda计算能力3.0或更低版本的旧图形卡可能可见，但Pytorch无法使用<感谢hekimgil指出这一点“找到GPU0 GeForce GT 750M，该GPU具有cuda 3.0功能。PyTorch不再支持此GPU，因为它太旧了。我们支持的最小cuda功能为3.5。”

Answer 3

这应该行得通：

import torch

torch.cuda.is_available()
>>> True

torch.cuda.current_device()
>>> 0

torch.cuda.device(0)
>>> <torch.cuda.device at 0x7efce0b03be0>

torch.cuda.device_count()
>>> 1

torch.cuda.get_device_name(0)
>>> 'GeForce GTX 950M'

这告诉我CUDA是可用的，可以在您的一个设备（GPU）中使用。目前，PyTorch正在使用设备0或GPUGeForce GTX 950M。