【人工智能概论】 optimizer.param_groups简介

【人工智能概论】 optimizer.param_groups简介

文章目录

• 【人工智能概论】 optimizer.param_groups简介
• 一. optimizer.param_groups究竟是什么
• 二. 实际应用——给不同层匹配不同的学习率
• 三. 用add_param_group方法给param_group添加内容：

一. optimizer.param_groups究竟是什么

• optimizer.param_groups： 是一个list，其中的元素为字典；
• optimizer.param_groups[0]：是一个字典，一般包括[‘params’, ‘lr’, ‘betas’, ‘eps’, ‘weight_decay’, ‘amsgrad’, ‘maximize’]等参数（不同的优化器包含的可能略有不同，而且还可以额外人为添加键值对）；
• 举例展示：

optimizer = torch.optim.SGD(model.parameters(), lr=0.1)
optimizer1 = torch.optim.Adam(model.parameters(), lr=0.1)
print(optimizer.param_groups[0].keys())
# dict_keys(['params', 'lr', 'momentum', 'dampening', 'weight_decay', 'nesterov', 'maximize', 'foreach', 'differentiable'])
print(optimizer1.param_groups[0].keys())
# dict_keys(['params', 'lr', 'betas', 'eps', 'weight_decay', 'amsgrad', 'maximize', 'foreach', 'capturable', 'differentiable', 'fused'])

• 不同键有不同的含义，还是要具体分析为好。
• 通过修改其中的值，可以实现对优化器更为灵活的控制，优化器的其他参数就好比默认服务，而它所控制的就好比私人订制，且具有更高的优先级。

二. 实际应用——给不同层匹配不同的学习率

• 构建案例模型：

import torchclass Resnet(torch.nn.Module):def __init__(self):super(Resnet, self).__init__()self.block1 = torch.nn.Sequential(torch.nn.Conv2d(1, 10, 5),torch.nn.MaxPool2d(2),torch.nn.ReLU(True),torch.nn.BatchNorm2d(10),)self.block2 = torch.nn.Sequential(torch.nn.Conv2d(10, 20, 5),torch.nn.MaxPool2d(2),torch.nn.ReLU(True),torch.nn.BatchNorm2d(20),)self.fc = torch.nn.Sequential(torch.nn.Flatten(),torch.nn.Linear(320, 10))def forward(self, x):x = self.block1(x)x = self.block2(x)x = self.fc(x)return xmodel = Resnet()

• 正常的设置优化器方式：

optimizer = torch.optim.SGD(model.parameters(), lr=0.1, momentum=0.5)

• 对网络不同模块设置不同的学习率：

params = [{"params":model.block1.parameters()},  # 其采用默认的学习率{"params":model.block2.parameters(),"lr":0.08},]
optimizer = torch.optim.SGD(params, lr=0.1,) # 此处的lr是默认的学习率
# optimizer.param_groups[1]在这对应的就是{"params":model.block2.parameters(),"lr":0.08}

• 动态调整学习率：

start_lr = [0.1, 0.08, 0.09]  # 不同层的初始学习率
def adjust_learning_rate(optimizer, epoch, start_lr):for index, param_group in enumerate(optimizer.param_groups):lr = start_lr[index] * (0.9 ** (epoch // 1))    # 每1个eporch学习率改变为上一个eporch的 0.9倍param_group['lr'] = lr

三. 用add_param_group方法给param_group添加内容：

optimizer.add_param_group({"params":model.fc.parameters(),"lr":0.09})

本文来自互联网用户投稿，文章观点仅代表作者本人，不代表本站立场，不承担相关法律责任。如若转载，请注明出处。 如若内容造成侵权/违法违规/事实不符，请点击【内容举报】进行投诉反馈！