Pytorch训练out of memory

两类内存报错：

1. RuntimeError: cuda runtime error (2) : out of memory ...
2. RuntimeError: CUDA out of memory. Tried to allocate 20.00 MiB ...

对于第一种：pytorch版本升级、避免中间变量累积、pin_memory置False …
对于第二种：batchsize调小、选小模型…

其他： 同样的代码，在服务器的0, 1号GPU上可运行，在2, 3号上不能运行，在2号GPU上单独可以运行，在其他服务器上可以运行…
最后，从bug的traceback中启发，跟pin_memory有关，由True改为False即可，顺道查看了pin_memory（锁页内存）的概念： 1，2。