nn.ReLU(inplace=True)
参数inplace=True:
inplace为True,将会改变输入的数据 ,否则不会改变原输入,只会产生新的输出
inplace:can optionally do the operation in-place. Default: False
注: 产生的计算结果不会有影响。利用in-place计算可以节省内(显)存,同时还可以省去反复申请和释放内存的时间。但是会对原变量覆盖,只要不带来错误就用。
例子:
import torch
import torch.nn as nn
input = torch.randn(5)
print('输入处理前:\n', input, input.size())
print('*'*70)
print("Default. inplace=False:")
output_F = nn.ReLU(inplace=False)(input)
print('输入:\n', input, input.size())
print('输出:\n', output_F, output_F.size())
print('*'*70)
print("inplace=True:")
output_T = nn.ReLU(inplace=True)(input)
print('输入:\n', input, input.size())
print('输出:\n', output_T, output_T.size())
运行结果:
输入处理前:
tensor([-2.2577, 0.1088, -0.9960, 0.4097, -0.3411]) torch.Size([5])
**********************************************************************
Default. inplace=False:
输入:
tensor([-2.2577, 0.1088, -0.9960, 0.4097, -0.3411]) torch.Size([5])
输出:
tensor([0.0000, 0.1088, 0.0000, 0.4097, 0.0000]) torch.Size([5])
**********************************************************************
inplace=True:
输入:
tensor([0.0000, 0.1088, 0.0000, 0.4097, 0.0000]) torch.Size([5])
输出:
tensor([0.0000, 0.1088, 0.0000, 0.4097, 0.0000]) torch.Size([5])
————————————————
版权声明:本文为CSDN博主「zly-海棠未眠」的原创文章,遵循CC 4.0 BY-SA版权协议,转载请附上原文出处链接及本声明。
原文链接:https://blog.csdn.net/zhanly19/article/details/99232815