PyTorch中nn.ReLU(inplace=True)和torch.nn.function.relu(inplace=True)中的inplace=True有什么用

self.conv = nn.Conv2d(in_channels, out_channels, **kwargs)
self.relu = nn.ReLU(inplace=True)

参数inplace:是否选择进行覆盖运算,默认值为False。

若为True则进行覆盖运算,例如:x = x +1,即对原值进行操作,又将结果直接赋值给原值。

若为False则不进行直接覆盖运算,例如:y = x +1,x = y,即找一个中间按变量y作为传递

具体到上述代码,inplace=True时,就对self.conv计算得到的结果直接做修改,这样做的好处就是可以节省内存,还可以节省反复申请和释放内存的时间,且最后计算结果与inplace=False相同,只要不出现错误就可以使用。


本文来自互联网用户投稿,文章观点仅代表作者本人,不代表本站立场,不承担相关法律责任。如若转载,请注明出处。 如若内容造成侵权/违法违规/事实不符,请点击【内容举报】进行投诉反馈!

相关文章

立即
投稿

微信公众账号

微信扫一扫加关注

返回
顶部