[人工智能]深度学习调参

一、建立评价指标

• 最好是一个指标
• 指标是容易理解的
• 指标的范围最好是在[0,1]之间，最好是线性的。

• 回归问题：均方差mse
• 分类问题：F1分数（good），准确率precision+召回率recall（bad）
• 标题生成：BLEU

二、建立合理的预期

• 深度网络可能达到的评价指标最好的值？（以image captioning为例）
• Image captioning可以理解为三个串行任务 ：?

1. 目标识别
2. 目标动作识别
3. 场景理解
4. 语言合成

三、数据集

• 测试数据集的数据==训练数据集的数据（风格行为一致）
• 低偏差低方差最好

消除欠拟合（1）

1. 增加训练epoch
2. 增大batch-size
3. 调整激活函数（使用relu）
4. 调整优化算法

• ?使用Adam
• ?增大learning rate

消除欠拟合（2）

1. 增加网络复杂度
   增加层数
   增加卷积层输出的通道数
   增加全连接层的节点数
2. 检测训练数据集和测试数据集
   增加训练数据的种类，使得训练数据覆盖所有测试数据的特性
   使用数据增强

消除过拟合

1. 检测训练数据集和测试数据是否有相应的特征
   增加训练数据的种类，使得训练数据覆盖所有测试数据的特性
   使用数据增强
2. 减小网络复杂度
3. 增加正则化
   L1 regularization
   L2 regularization
   ?
4. 增加drop 层
5. 添加batch normalization