[游戏开发]深度学习的超参数调整

在深度学习中，超参数有很多种，比如：网络宽度（层宽）、深度（层数），链接方式、损失函数、学习率、批样本数量、优化器等等。对于一个工作来说，对其一一调整是非常浪费时间的，并且也不符合实际。因此我们需要对每个超参数对结果的影响有一个大致了解。

参数和超参数的区别

参数：由数据自行决定其大小和趋势，单个参数一般对模型结果影响不大。
超参数：人为的调整，对模型结果一般影响较大

有哪些超参数

超参数通常分为三类：网格参数、优化参数、正则化参数

• 网格参数：网络中层与层之间的交互方式、卷积核数量、卷积核尺寸、网络层数和激活函数等。
• 优化参数：学习率、批样本数量、不同优化器以及损失函数
• 正则化：权重衰减系数、丢弃比率

调整这些参数主要是寻找最优解和正则化之间的关系。网格模型优化调整的目的为了找到全局最优解，而正则项又希望尽量拟合到最优。两者通常情况下，存在一定的对立，但是二者目标一致，即最小化期望风险。最优解用来增加模型复杂度，正则项用来约束模型复杂度。

超参数重要顺序

• 首先，学习率、损失函数上的可调参数。
• 其次，批样本数量，动量优化器的动量参数$\beta$。
• 最后，Adam优化器的超参数、权重衰减系数、丢弃比率和网络参数。

部分超参数如何影响模型性能

部分超参数合适范围

数据的重要性

有一种说法，如果数据预处理的很好，那么你的深度学习就成功了一半了。数据才是模型的根本，如果有一批质量优秀的数据，或者说你能将数据质量处理的很好的时候，往往比挑选或者设计模型的收益来的更大。数据预处理步骤：

• 探索和清洗数据：
  探索数据集是设计算法之前最为重要的一步，以图像分类为例，我们需要重点知道给定的数据集样本类别和各类别样本数量是否平衡，图像之间是否存在跨域问题（例如网上爬取的图像通常质量各异，存在噪声）。若是类别数远远超过类别样本数（比如类别10000，每个类别却只有10张图像），那通常的方法可能效果并不显著，这时候few-shot learning或者对数据集做进一步增强可能是你比较不错的选择。再如目标检测，待检测目标在数据集中的尺度范围是对检测器的性能有很大影响的部分。因此重点是检测大目标还是小目标、目标是否密集完全取决于数据集本身。所以，探索和进一步清洗数据集一直都是深度学习中最重要的一步。

• 探索模型结果
  探索模型的结果，通常是需要对模型在验证集上的性能进行进一步的分析，这是如何进一步提升模型性能很重要的步骤。将模型在训练集和验证集都进行结果的验证和可视化，可直观的分析出模型是否存在较大偏差以及结果的正确性。以图像分类为例，若类别间样本数量很不平衡时，我们需要重点关注少样本类别在验证集的结果是否和训练集的出入较大，对出错类别可进一步进行模型数值分析以及可视化结果分析，进一步确认模型的行为。

• 监控训练和验证误差
  首先很多情况下，我们忽略代码的规范性和算法撰写正确性验证，这点上容易产生致命的影响。在训练和验证都存在问题时，首先请确认自己的代码是否正确。其次，根据训练和验证误差进一步追踪模型的拟合状态。若训练数据集很小，此时监控误差则显得格外重要。确定了模型的拟合状态对进一步调整学习率的策略的选择或者其他有效超参数的选择则会更得心应手。

• 反向传播数值的计算，这种情况通常适合自己设计一个新操作的情况。
  目前大部分流行框架都已包含自动求导部分，但并不一定是完全符合你的要求的。验证求导是否正确的方式是比较自动求导的结果和有限差分计算结果是否一致。所谓有限差分即导数的定义，使用一个极小的值近似导数。
  $$f^{\prime }(x_0)=\underset{n\to 0}{\lim }\frac{\Delta y}{\Delta x}=\underset{n\to 0}{\lim }\frac{f(x_0+\Delta x?f(x_0))}{\Delta x}$$

学习率调整

学习率是深度学习超参数调整中的一个最重要的参数。学习率过大或者过小都对模型的训练有很大的影响。
首先介绍一下Hessian矩阵（多变量二阶导数组成的方形矩阵），二阶矩阵就会有下面的特点：

• $f^{\prime \prime }(x)>0$时， 函数$f(x)$在$x=x_0$处有极小值；
• $f^{\prime \prime }(x)=0$时， 函数$f(x)$在$x=x_0$处有极值；
• $f^{\prime \prime }(x)<0$时， 函数$f(x)$在$x=x_0$处有极大值；
  在训练的时候，当达到一定程度，即损失函数不再继续下降，也就是说模型的一阶梯度基本等于0，对应的Hessian矩阵通常有两种情况：
• 正定， 即所有特征值都是正的，也就是说全部参数二阶导数都大于0，那么在该处会有极小值，具体是不是全局最小值，还需要再做调整，一般是局部最小值，通过调整其他参数，比如batch size等，还会获得更小的最小值，直到得到全局最小值。
• 特征值有可能时负值，可能陷入鞍点，模型会表现很差。

一个比较好的解决方案是，对学习率进行衰减或增大。tensorflow内置的学习率衰减法，主要有如下方法：

• CosineDecay：余弦衰减方案；
  

• CosineDecayRestarts：带有重启的余弦衰减方案；
  

• ExponentialDecay：指数衰减方案；
  

• InverseTimeDecay：逆时间衰减；
  

• PiecewiseConstantDecay：分段式衰减方案；
  

• PolynomialDecay：多项式方案。
  

调用方法：

initial_learning_rate = 0.1
final_learning_rate = 0.0001
learning_rate_decay_factor = (final_learning_rate / initial_learning_rate)**(1/epochs)
steps_per_epoch = int(train_size/batch_size)

lr_schedule = tf.keras.optimizers.schedules.ExponentialDecay(
                initial_learning_rate=initial_learning_rate,
                decay_steps=steps_per_epoch,
                decay_rate=learning_rate_decay_factor,
                staircase=True)

如果使用优化器，可以这样调用：

def decayed_learning_rate(step):
  return initial_learning_rate * decay_rate ^ (step / decay_steps)

initial_learning_rate = 0.1
lr_schedule = tf.keras.optimizers.schedules.ExponentialDecay(
    initial_learning_rate,
    decay_steps=100000,
    decay_rate=0.96,
    staircase=True)

model.compile(optimizer=tf.keras.optimizers.SGD(learning_rate=lr_schedule),
              loss='sparse_categorical_crossentropy',
              metrics=['accuracy'])

model.fit(data, labels, epochs=5)

batch size的设置

极端批样本数量，即batch size=1或者batch size=6000，由于显卡的原因，一般情况下batch size会被设置为很小的值（batch size太大会导致显存不足）。针对梯度不稳定的问题，通常不会太致命，若训练中发现梯度不稳定导致性能的严重降低时可采用累计梯度的策略，即每次计算完不反向更新，而是累计多次的误差后进行一次更新，这是一种在内存有限情况下实现有效梯度更新的一个策略。batch size过小通常对batchnorm的影响是最大的，若网络模型中存在batchnorm，batch size若只为1或者2时会对训练结果产生非常大的影响。这时通常有两种策略，一、若模型使用了预训练网络，可冻结预训练网络中batchnorm的模型参数，有效降低batch size引起的统计量变化的影响。二、在网络不是过深或者过于复杂时可直接移除batchnorm或者使用groupnorm代替batchnorm，前者不多阐释，后者是有FAIR提出的一种用于减少batch对batchnorm影响，其主要策略是先将特征在通道上进行分组，然后在组内进行归一化。即归一化操作上完全与batch size无关。这种groupnorm的策略被证实在极小批量网络训练上能达到较优秀的性能。当然这里也引入里group这个超参数，一般情况下建议不宜取group为1或者各通道单独为组的group数量，可结合实际网络稍加调试。
如果显卡足够，为了降低训练时间的成本，多机多卡的分布式系统通常会使用超大的batch size进行网络训练。同样的在14.2.4中，我们提到了超大batch size会带来梯度方向过于一致而导致的精度大幅度降低的问题。这时通常可采用层自适应速率缩放（LARS）算法。从理论认知上将，batch size增大会减少反向传播的梯度更新次数，但为了达到相同的模型效果，需要增大学习率。但学习率一旦增大，又会引起模型的不收敛。为了解决这一矛盾，LARS算法就在各层上自适应的计算一个本地学习率用于更新本层的参数，这样能有效的提升训练的稳定性。目前利用LARS算法，腾讯公司使用65536的超大batch size能将ResNet50在ImageNet在4分钟完成训练，而谷歌使用32768的batch size使用TPU能将该时间缩短至2分钟。

参考：超参数调整

创作打卡挑战赛

赢取流量/现金/CSDN周边激励大奖