ReLu函数中inplace参数的理解

沈健
2023-12-01

x = torch.nn.functional.relu(v(x), inplace=True)

inplace = True是指原地进行操作,操作完成后覆盖原来的变量。例如:
上面的代码中的意思v(x)进行relu之后赋值给x
优点:节省内存
缺点:进行梯度回归的时候传回失败,原来的变量被覆盖了,找不到原来的变量。

 类似资料: