pytorch冻结部分参数训练另一部分

1）添加下面一句话到模型中

for p in self.parameters():p.requires_grad = False

比如加载了resnet预训练模型之后，在resenet的基础上连接了新的模快，resenet模块那部分可以先暂时冻结不更新，只更新其他部分的参数，那么可以在下面加入上面那句话

class RESNET_MF(nn.Module):def __init__(self, model, pretrained):super(RESNET_MF, self).__init__()self.resnet = model(pretrained)for p in self.parameters():p.requires_grad = False   #预训练模型加载进来后全部设置为不更新参数，然后再后面加层self.f = SpectralNorm(nn.Conv2d(2048, 512, 1))self.g = SpectralNorm(nn.Conv2d(2048, 512, 1))self.h = SpectralNorm(nn.Conv2d(2048, 2048, 1))...

同时在优化器中添加：filter(lambda p: p.requires_grad, model.parameters())

optimizer = optim.Adam(filter(lambda p: p.requires_grad, model.parameters()), lr=0.001, \betas=(0.9, 0.999), eps=1e-08, weight_decay=1e-5)

2) 参数保存在有序的字典中，那么可以通过查找参数的名字对应的id值，进行冻结

查看每一层的代码:

model_dict = torch.load('net.pth.tar').state_dict()
dict_name = list(model_dict)
for i, p in enumerate(dict_name):print(i, p)

打印一下这个文件，可以看到大致是这个样子的：

0 gamma
1 resnet.conv1.weight
2 resnet.bn1.weight
3 resnet.bn1.bias
4 resnet.bn1.running_mean
5 resnet.bn1.running_var
6 resnet.layer1.0.conv1.weight
7 resnet.layer1.0.bn1.weight
8 resnet.layer1.0.bn1.bias
9 resnet.layer1.0.bn1.running_mean
....

同样在模型中添加这样的代码：

for i,p in enumerate(net.parameters()):if i < 165:p.requires_grad = False

在优化器中添加上面的那句话可以实现参数的屏蔽

本文来自互联网用户投稿，文章观点仅代表作者本人，不代表本站立场，不承担相关法律责任。如若转载，请注明出处。 如若内容造成侵权/违法违规/事实不符，请点击【内容举报】进行投诉反馈！