[人工智能]PyTorch 9. 优化器

优化器

pytorch优化器：管理并更新模型中可学习参数的值，使得模型输出更接近真实标签

基本属性：
defaults: 优化器超参数
state: 参数的缓存，如momentum的缓存
param_groups: 管理的参数组
_step_count:记录更新次数，学习率调整中使用
操作：
zero_grad():清空所管理参数的梯度
step():执行一步更新
add_param_group():添加参数组
state_dict()：获取优化器当前状态信息字典
load_state_dict()：加载状态信息字典

1. nn.optim.SGD
   主要参数：
   params:管理的参数组
   lr：初始学习率
   momentum:动量系数
   weight_decay:L2正则化系数
   nesterov:是否采用NAG，涅斯捷罗夫梯度优化方法
2. nn.optim.Adagrad
   自适应学习率梯度下降法
3. nn.optim.RMSprop
   Adagrad的改进
4. nn.optim.Adam
   RMSprop结合Momentum
5. nn.optim.AdamW
   增加权重的adam