Pytorch GPU通用化

Question

因此，我目前正在训练我的DQN在雅达利突破（从OpenAI健身房）。我的问题是速度很慢，但我的GPU似乎没有得到充分利用。我正在使用一个名为HWMonitor的工具以及nvidiasmi命令监视它。你知道为什么吗？

以下是一些可能相关的规范：

Python version: 3.7.7
torch version: 1.4.0
gym version: 0.17.2
CUDA version: 11.0
GPU: GTX 980 founders edition
CPU: Inte Core i7 4790K

以下是对我的DQN的一些见解：

device:cuda
DQN(
  (conv1): Conv2d(1, 16, kernel_size=(8, 8), stride=(4, 4))
  (conv2): Conv2d(16, 32, kernel_size=(4, 4), stride=(2, 2))
  (mp1): MaxPool2d(kernel_size=2, stride=2, padding=0, dilation=1, ceil_mode=False)
  (mp2): MaxPool2d(kernel_size=2, stride=2, padding=0, dilation=1, ceil_mode=False)
  (lin1): Linear(in_features=128, out_features=256, bias=True)
  (lin2): Linear(in_features=256, out_features=4, bias=True)
)
optimizer: Adam (
Parameter Group 0
    amsgrad: False
    betas: (0.9, 0.999)
    eps: 1e-08
    lr: 0.001
    weight_decay: 0
)
gamma: 0.95
epsilon_decay: 0.99
epsilon_min: 0.01
obs_space: [110, 84]
trainig_batchsize: 32

还有一件事可能很重要。出于某种原因，用CPU训练比用GPU更快。这些结果是平均超过30分钟的训练。我不能解释为什么我的CPU更快，所以如果有人有线索，我肯定想听。

GPU took 353 seconds for 1000 minibatches
CPU took 148 seconds for 1000 minibatches

如果我的任何代码需要进一步检查我的问题，请让我知道。

编辑：我现在正在考虑使用云GPU服务，更具体的Linode。唯一让我担心的是，问题的原因在于我的代码。因此，使用云GPU服务不是很明智。

Answer 1

尽管以下内容在技术上并没有让它变得“更快”，但在改变/优化代码的意义上，我仍然想把它作为我问题的答案。

我的一个解决方案是使用谷歌可乐。在线笔记本，非常类似于jupyter笔记本，但有一个关键的区别，当使用笔记本时，你可以访问谷歌的计算资源（例如，你可以免费使用高端图形处理器！）。

在我的情况下，这是一个整体的加速。但即使你家里有一个相当好的GPU，你仍然可以用它来同时测试两组不同的超参数。