[人工智能]AI达人创造营：数据获取与处理 听课笔记

本次课程主要介绍了数据集获取，以及数据标注、数据划分、数据增强处理方法，及其用数据增强和不用数据增强的对比实验。

AIStudio课程连接

一、常见数据集获取途径

• Kaggle

  Cat and Dog ?????????????????????猫狗分类

  Machine Learning from Disaster ???? 预测泰坦尼克号的生存情况并熟悉机器学习基础知识

• 天池

  Barley Remote Sensing Dataset大麦遥感检测数据集 ??? 遥感影像分割

  耶鲁人脸数据库 ???? ???????????? 目标检测任务(人脸检测)

• DataFountain

  花卉分类数据集 ???????????? ??????? 图像分类

• 其他常用的数据集官网

  科大讯飞官网

  COCO数据集

  figshare

  二、图像数据处理完整流程

• 数据获取

• 数据清洗

??筛选图片

• 数据标注

• 数据预处理

  • 标准化
    • 中心化 将各个维度中心化为0，加快收敛速度
    • 归一化 将各个维度的方差标准化处于一个[-1,1]区间

• 数据准备

??划分训练集、验证集、测试集

• 数据增强

??以CV领域常见数据增强方式为例：随机旋转、随机水平或垂直翻转、平移、缩放等

??数据增强的目的：因为很多深度学习的模型复杂度太高，且在数据量少的情况下，比较容易造成过拟合，通过数据增强的方式降低一下过拟合

常见数据集格式

VOC与COCO简介

??Pascal 的全称是模式分析，静态建模和计算学习(Pattern Analysis, Statical Modeling and Computational Learning)。PASCAL VOC 挑战赛是视觉对象的分类识别和检测的一个基准测试，提供了检测算法和学习性能的标准图像注释数据集和标准的评估系统。从2005年至今，该组织每年都会提供一系列类别的、带标签的图片，挑战者通过设计各种精妙的算法，仅根据分析图片内容来将其分类，最终通过准确率、召回率、效率

?? MS COCO的全称是Microsoft Common Objects in Context，起源于微软于2014年出资标注的Microsoft COCO数据集，与ImageNet竞赛一样，被视为是计算机视觉领域最受关注和最权威的比

COCO格式，文件夹路径样式：

 COCO_2017/
    ├── val2017     # 总的验证集
    ├── train2017    # 总的训练集
    ├── annotations    # COCO标注
	│   ├── instances_train2017.json     # object instances（目标实例） ---目标实例的训练集标注 
	│   ├── instances_val2017.json        # object instances（目标实例） ---目标实例的验证集标注
	│   ├── person_keypoints_train2017.json     # object keypoints（目标上的关键点） ---关键点检测的训练集标注
	│   ├── person_keypoints_val2017.json       # object keypoints（目标上的关键点） ---关键点检测的验证集标注
	│   ├── captions_train2017.json    # image captions（看图说话） ---看图说话的训练集标注
	│   ├── captions_val2017.json      # image captions（看图说话） ---看图说话的验证集标注

VOC格式，文件夹路径样式：

  VOC_2017/
  ├── Annotations	# 每张图片相关的标注信息,xml格式
  ├── ImageSets
  │   ├── Main	# 各个类别所在图片的文件名
  ├── JPEGImages	# 包括训练验证测试用到的所有图片  
  ├── label_list.txt	# 标签的类别数
  ├── train_val.txt	#训练集 
  ├── val.txt   	# 验证集

常见标注工具
??对于图像分类任务，我们只要将对应的图片是哪个类别划分好即可。对于检测任务和分割任务，目前比较流行的数据标注工具是labelimg、labelme，分别用于检测任务与分割任务的标注。

标注工具Github地址：

??labelimg

?? labelme

??PPOCRLabel