激活函数nn.ReLU(inplace=True)中inplace的作用

nn.ReLU(inplace=True)

参数inplace=True:
inplace为True，将计算得到的值直接覆盖之前的值
inplace：can optionally do the operation in-place. Default: False
注： 产生的计算结果不会有影响。利用in-place计算可以节省内（显）存，同时还可以省去反复申请和释放内存的时间。但是会对原变量覆盖，只要不带来错误就用。

例如：x = x+1
即对原值x进行+1操作后得到的值，直接赋值给x，而不是如下找一个中间变量y：

y=x+1
x=y

先将x进行+1操作后赋值给中间变量y，然后将y值赋给x
这样就需要内存存储变量y
因此当inplace=True时：
就是对从上层网络nn.Conv2d中传递下来的tensor直接进行修改，这样能够节省运算内存，不用多存储其他变量。

原文链接：https://blog.csdn.net/AugustMe/article/details/92589979
原文链接：https://blog.csdn.net/zhanly19/article/details/99232815