Pytorch 中的optimizer使用说明
与优化函数相关的部分在torch.optim模块中，其中包含了大部分现在已有的流行的优化方法。
如何使用Optimizer
要想使用optimizer，需要创建一个optimizer对象，这个对象会保存当前状态，并根据梯度更新参数。
怎样构造Optimizer
要构造一个Optimizer，需要使用一个用来包含所有参数（Tensor形式）的iterable，把相关参数（如learningrate、weightdecay等）装进去。
注意，如果想要使用.cuda()方法来将model移到GPU中，一定要确保这一步在构造Optimizer之前。因为调用.cuda()之后，model里面的参数已经不是之前的参数了。
示例代码如下：
optimizer=optim.SGD(model.parameters(),lr=0.01,momentum=0.9) optimizer=optim.Adam([var1,var2],lr=0.0001)
常用参数
last_epoch代表上一次的epoch的值，初始值为-1。
单独指定参数
也可以用一个dict的iterable指定参数。这里的每个dict都必须要params这个key，params包含它所属的参数列表。除此之外的key必须它的Optimizer（如SGD）里面有的参数。
Youcanstillpassoptionsaskeywordarguments.Theywillbeusedasdefaults,inthegroupsthatdidn'toverridethem.Thisisusefulwhenyouonlywanttovaryasingleoption,whilekeepingallothersconsistentbetweenparametergroups.
这在针对特定部分进行操作时很有用。比如只希望给指定的几个层单独设置学习率：
optim.SGD([
{'params':model.base.parameters()},
{'params':model.classifier.parameters(),'lr':0.001}
],
lr=0.01,momentum=0.9)
在上面这段代码中model.base将会使用默认学习率0.01，而model.classifier的参数蒋欢使用0.001的学习率。
怎样进行单次优化
所有optimizer都实现了step()方法，调用这个方法可以更新参数，这个方法有以下两种使用方法：
optimizer.step()
多数optimizer里都可以这么做，每次用backward()这类的方法计算出了梯度后，就可以调用一次这个方法来更新参数。
示例程序：
forinput,targetindataset: optimizer.zero_grad() ouput=model(input) loss=loss_fn(output,target) loss.backward() optimizer.step()
optimizer.step(closure)
有些优化算法会多次重新计算函数（比如ConjugateGradient、LBFGS），这样的话你就要使用一个闭包（closure）来支持多次计算model的操作。
这个closure的运行过程是，清除梯度，计算loss，返回loss。
（这个我不太理解，因为这些优化算法不熟悉）
示例程序：
forinput,targetindataset: defclosure(): optimizer.zero_grad() output=model(input) loss=loss_fn(output,target) loss.backward() returnloss optimizer.step(closure)
优化算法
这里就不完整介绍documentation中的内容了，只介绍基类。具体的算法的参数需要理解它们的原理才能明白，这个改天单独来一篇文章介绍。
Optimizer
classtorch.optim.Optimizer(params,defaults)
这是所有optimizer的基类。
注意，各参数的顺序必须保证每次运行都一致。有些数据结构就不满足这个条件，比如dictionary的iterator和set。
参数
params(iterable)是torch.Tensor或者dict的iterable。这个参数指定了需要更新的Tensor。
defaults(dict)是一个dict，它包含了默认的的优化选项。
方法
add_param_group(param_group)
这个方法的作用是增加一个参数组，在finetuning一个预训练的网络时有用。
load_state_dict(state_dict)
这个方法的作用是加载optimizer的状态。
state_dict()
获取一个optimizer的状态（一个dict）。
zero_grad()方法用于清空梯度。
step(closure)用于进行单次更新。
Adam
classtorch.optim.Adam(params,lr=0.001,betas=(0.9,0.999),eps=1e-08,weight_decay=0,amsgrad=False)
补充：pytorch里面的Optimizer和optimizer.step()用法
当我们想指定每一层的学习率时：
optim.SGD([
{'params':model.base.parameters()},
{'params':model.classifier.parameters(),'lr':1e-3}
],lr=1e-2,momentum=0.9)
这意味着model.base的参数将会使用1e-2的学习率，model.classifier的参数将会使用1e-3的学习率，并且0.9的momentum将会被用于所有的参数。
进行单次优化
所有的optimizer都实现了step()方法，这个方法会更新所有的参数。它能按两种方式来使用：
optimizer.step()
这是大多数optimizer所支持的简化版本。一旦梯度被如backward()之类的函数计算好后，我们就可以调用这个函数。
例子
forinput,targetindataset: optimizer.zero_grad() output=model(input) loss=loss_fn(output,target) loss.backward() optimizer.step() optimizer.step(closure)
一些优化算法例如ConjugateGradient和LBFGS需要重复多次计算函数，因此你需要传入一个闭包去允许它们重新计算你的模型。
这个闭包应当清空梯度，计算损失，然后返回。
例子：
forinput,targetindataset: defclosure(): optimizer.zero_grad() output=model(input) loss=loss_fn(output,target) loss.backward() returnloss optimizer.step(closure)
以上为个人经验，希望能给大家一个参考，也希望大家多多支持毛票票。如有错误或未考虑完全的地方，望不吝赐教。
声明：本文内容来源于网络，版权归原作者所有，内容由互联网用户自发贡献自行上传，本网站不拥有所有权，未作人工编辑处理，也不承担相关法律责任。如果您发现有涉嫌版权的内容，欢迎发送邮件至：czq8825#qq.com（发邮件时，请将#更换为@）进行举报，并提供相关证据，一经查实，本站将立刻删除涉嫌侵权内容。