[人工智能]百度飞桨第二课|数据集的获取途径和数据处理的技巧

本次课程主要介绍了数据集获取，以及数据标注、数据划分、数据增强处理方法和简单的口罩检测实现，及其用数据增强和不用数据增强的对比实验，体现了数据增强在AI学习中的重要性。

目录

一、数据集的获取

获取途径

数据预处理

1.感知数据

2.数据清理

3.特征变换

4.特征选择

5.特征抽取

二、数据处理

官方数据格式

自定义数据集进行训练

标注（常见标注工具）

制作VOC格式与COCO格式数据集并划分

三、数据处理方法（以图片处理为例）

图像的本质

为什么要做数据增强

四、模型训练与评估

比对实验??

一、数据集的获取

获取途径

• 百度AI Studio
• Kaggle
• 天池
• 科大讯飞官网
• COCO数据集

数据预处理

• 1.感知数据

??----初步了解数据

??----记录和特征的数量特征的名称

??----抽样了解记录中的数值特点描述性统计结果

??----特征类型

??----与相关知识领域数据结合，特征融合

• 2.数据清理

??----转换数据类型

??----处理缺失数据

??----处理离群数据

• 3.特征变换

??----特征数值化

??----特征二值化

??----OneHot编码

??----特征离散化特征

??----规范化

????区间变换

????标准化

????归一化

• 4.特征选择

??----封装器法

????循序特征选择

????穷举特征选择

????递归特征选择

??----过滤器法

??----嵌入法

• 5.特征抽取

??----无监督特征抽取

????主成分分析

????因子分析

??----有监督特征抽取

二、数据处理

官方数据格式

• VOV
• COCO

自定义数据集进行训练

1. 标注（常见标注工具）

   1. labelimg（检测任务）
   2. labelme（分割任务）

2. 制作VOC格式与COCO格式数据集并划分

三、数据处理方法（以图片处理为例）

图像的本质

为什么要做数据增强

?是因为很多深度学习的模型复杂度太高了，且在数据量少的情况下，比较容易造成过拟合(通俗来说就是训练的这个模型它太沉浸在这个训练样本当中的一些特质上面了)，表现为的这个模型呢受到了很多无关因素的影响。 所得出的结果就是在没有看到过的样本上对它做出预测呢就表现的不太好。

四、模型训练与评估

比对实验
??