[人工智能]百度飞桨第03课|深度学习模型的训练和关键参数调优详解

模型选择

可以从PaddleX、PaddleHub 选择模型

回归任务

68点人脸检测模型检测：

• 实时性要好
• 准确率要高

例如：GoogleNet

分类任务

以图像分类为例：

基于CIFAR-10数据集实现图像10分类。

场景任务

需要满足场景的特殊需求，比如昆虫检测的高准确率…

比如移动端场景要求快速的推理速度。

模型训练

• BatchSize不且太大，否则容易内存溢出，且一般为2的整数次幂。

• 配置学习率衰减策略时，训练的上限轮数一定要计算正确

基于高层API的训练

# 封装模型
model = paddle.Model(Net)

# 设置优化器等 
model.prepare(optimizer = ..., lost = ..., metrics=...)

# 启动训练
model.fit(..., save_dir = ...)

基于PaddleX训练

model.train(...)

超参数优化

提前停止

1. 分类准确率不再提升时
2. loss降到一个想要的范围时

可以提前停止模型的训练。

让学习率从高逐渐降低

学习率在后期降低可以避免模型训练后期产生震荡

宽泛策略

• 可通过简化模型结构、简化问题规模提前查看效果
• 可通过频繁检测验证集准确率，在模型收敛前快速获取超参数的效果

小批量数据(mini-batch)大小不必最优

batch_size 只影响模型收敛的时间，不影响结果