PyTorch中nn.ReLU(inplace=True)和torch.nn.function.relu(inplace=True)中的inplace=True有什么用

self.conv = nn.Conv2d(in_channels, out_channels, **kwargs)
self.relu = nn.ReLU(inplace=True)

参数inplace：是否选择进行覆盖运算，默认值为False。

若为True则进行覆盖运算，例如：x = x +1,即对原值进行操作，又将结果直接赋值给原值。

若为False则不进行直接覆盖运算，例如：y = x +1,x = y，即找一个中间按变量y作为传递

具体到上述代码，inplace=True时,就对self.conv计算得到的结果直接做修改，这样做的好处就是可以节省内存，还可以节省反复申请和释放内存的时间，且最后计算结果与inplace=False相同，只要不出现错误就可以使用。