[人工智能]飞桨第三课 7.30 笔记

基于飞桨领航团AI达人创造营第三课：深度学习模型训练和关键参数调优详解
视频地址：https://www.bilibili.com/video/BV1qq4y1X7uZ?p=3

by 郑博培

深度学习模型训练前置基础

什么是人工智能？

从人类诞生的那天起，我们就开始思考这个世界，如今，学会使用工具的我们尝试让机器学会思考，但机器真的会思考吗？机器怎么思考？

我们追求的智能到底是什么？

生物的行为取决于2件事：
一个是后天学习的结果；不是后天学习的结果就是先天的本能。

模型训练

一、模型选择

1. 回归任务

人脸关键点检测

• Inception模块
• 空间注意力模块

2. 分类任务

图像分类

3. 场景任务

• 目标检测
• 人像分割
• 文字识别

二、模型训练

1. 基于高层API训练模型

• 加载数据集
• 模型封装
• 训练参数配置
• 模型训练

2. 使用PaddleX训练模型

• 配置数据集
• 初始化模型
• 模型训练

3. 模型训练通用配置基本原则

1. 每个输入数据的维度要保持一致，且一定要和模型输入保持一致。
2. 配置学习率衰减策略时，训练的上限论述一定要计算正确。
3. BatchSize不宜过大，太大容易内存溢出，且一般为2次幂。

三、超参优化

1. 超参优化的基本概念

• 参数
• 超参数

2. 手动调整超参数的四大方法

1. 使用提前停止来确定训练的迭代次数
2. 让学习率从高逐渐降低
3. 宽泛策略
4. 小批量数据(mini-batch)大小不必最优

四、效果展示

1. 可视化输入与输出
2. 巧用VisualDL
3. 权重可视化