1 数据集的获取：
- 1.1 Kaggle有趣比较火热的数据集
- House Prices-Advanced Regression Techniques????? 预测销售价格
- Cat and Dog???? ???? ???? ???? ???? 猫狗分类
- Machine Learning from Disaster????? 预测泰坦尼克号的生存情况并熟悉机器学习基础知识
-
1.2 天池
- Barley Remote Sensing Dataset大麦遥感检测数据集???? 遥感影像分割
- 耶鲁人脸数据库????? ???????????? 目标检测任务(人脸检测)
-
1.3 DataFountain
- 花卉分类数据集????????????? ???????? 图像分类
-
1.4 其他常用的数据集官网
2 数据处理：
-
2.1.1COCO2017数据集介绍
???COCO数据集是Microsoft制作收集用于Detection + Segmentation + Localization + Captioning的数据集，作者收集了其2017年的版本，一共有25G左右的图片和600M左右的标签文件。 COCO数据集共有小类80个，分别为：
[‘person’, ‘bicycle’, ‘car’, ‘motorcycle’, ‘airplane’, ‘bus’, ‘train’, ‘truck’, ‘boat’, ‘traffic light’, ‘fire hydrant’, ‘stop sign’, ‘parking meter’, ‘bench’, ‘bird’, ‘cat’, ‘dog’, ‘horse’, ‘sheep’, ‘cow’, ‘elephant’, ‘bear’, ‘zebra’, ‘giraffe’, ‘backpack’, ‘umbrella’, ‘handbag’, ‘tie’, ‘suitcase’, ‘frisbee’, ‘skis’, ‘snowboard’, ‘sports ball’, ‘kite’, ‘baseball bat’, ‘baseball glove’, ‘skateboard’, ‘surfboard’, ‘tennis racket’, ‘bottle’, ‘wine glass’, ‘cup’, ‘fork’, ‘knife’, ‘spoon’, ‘bowl’, ‘banana’, ‘apple’, ‘sandwich’, ‘orange’, ‘broccoli’, ‘carrot’, ‘hot dog’, ‘pizza’, ‘donut’, ‘cake’, ‘chair’, ‘couch’, ‘potted plant’, ‘bed’, ‘dining table’, ‘toilet’, ‘tv’, ‘laptop’, ‘mouse’, ‘remote’, ‘keyboard’, ‘cell phone’, ‘microwave’, ‘oven’, ‘toaster’, ‘sink’, ‘refrigerator’, ‘book’, ‘clock’, ‘vase’, ‘scissors’, ‘teddy bear’, ‘hair drier’, ‘toothbrush’]
????????大类12个，分别为
[‘appliance’, ‘food’, ‘indoor’, ‘accessory’, ‘electronic’, ‘furniture’, ‘vehicle’, ‘sports’, ‘animal’, ‘kitchen’, ‘person’, ‘outdoor’]?
????????VOC与COCO简介?
??Pascal 的全称是模式分析，静态建模和计算学习(Pattern Analysis, Statical Modeling and Computational Learning)。PASCAL?VOC 挑战赛是视觉对象的分类识别和检测的一个基准测试，提供了检测算法和学习性能的标准图像注释数据集和标准的评估系统。从2005年至今，该组织每年都会提供一系列类别的、带标签的图片，挑战者通过设计各种精妙的算法，仅根据分析图片内容来将其分类，最终通过准确率、召回率、效率
?? MS COCO的全称是Microsoft Common Objects in Context，起源于微软于2014年出资标注的Microsoft COCO数据集，与ImageNet竞赛一样，被视为是计算机视觉领域最受关注和最权威的比赛之一。
下面为大家演示一下标注的使用。
????????COCO格式，文件夹路径样式：
COCO_2017/ ├── val2017 # 总的验证集
├── train2017 # 总的训练集
├── annotations # COCO标注
│ ├── instances_train2017.json # object instances（目标实例） ---目标实例的训练集标注 │ ├── instances_val2017.json # object instances（目标实例） ---目标实例的验证集标注
│ ├── person_keypoints_train2017.json # object keypoints（目标上的关键点） ---关键点检测的训练集标注
│ ├── person_keypoints_val2017.json # object keypoints（目标上的关键点） ---关键点检测的验证集标注
│ ├── captions_train2017.json # image captions（看图说话） ---看图说话的训练集标注
│ ├── captions_val2017.json # image captions（看图说话） ---看图说话的验证集标注????????
????????VOC格式，文件夹路径样式：?
VOC_2017/ ├── Annotations # 每张图片相关的标注信息,xml格式
├── ImageSets
│ ├── Main # 各个类别所在图片的文件名
├── JPEGImages # 包括训练验证测试用到的所有图片
├── label_list.txt # 标签的类别数
├── train_val.txt #训练集
├── val.txt # 验证集
3 数据处理方法：
-
3.1 图像的本质
??我们常见的图片其实分为两种，一种叫位图，另一种叫做矢量图。
位图的特点:
-
由像素点定义一放大会糊
-
文件体积较大
-
色彩表现丰富逼真
矢量图的特点:
-
超矢量定义
-
放太不模糊
-
文件体积较小
-
表现力差
-
3.2 为什么要做这些数据增强
?? 是因为很多深度学习的模型复杂度太高了，且在数据量少的情况下，比较容易造成过拟合(通俗来说就是训练的这个模型它太沉浸在这个训练样本当中的一些特质上面了)，表现为的这个模型呢受到了很多无关因素的影响。 所得出的结果就是在没有看到过的样本上对它做出预测呢就表现的不太好。
4 模型训练与评估：
4.1 比对实验
在其他参数都相同的情况下，在没有加任何的数据增强时，mAP为38.06：
在其他参数都相同的情况下，在随机扩张，随机像素变换数据增强时，mAP为41.9：
在其他参数都相同的情况下，在加随机裁剪，随机水平翻转，短边调整，与Mixup的数据增强时，mAP为35.4：
以上对比实验说明，正确的增加数据增强时，可以小幅度提升mAP值。
4.2 拓展介绍mAP：
在机器学习领域中，用于评价一个模型的性能有多种指标，其中几项就是FP、FN、TP、TN、精确率(Precision)、召回率(Recall)、准确率(Accuracy)。
mean Average Precision, 即各类别AP的平均值，是AP：PR 曲线下面积。
此前先了解一下IOU评判标准：
TP、FP、FN、TN
常见的评判方式，第一位的T,F代表正确或者错误。第二位的P和N代表判断的正确或者错误
-
True Positive (TP):?IoU>IOUthreshold?\mathrm{IoU}>I O U_{\text {threshold }}IoU>IOUthreshold???(IOU的阈值一般取0.5)的所有检测框数量（同一Ground Truth只计算一次），可以理解为真实框，或者标准答案
-
False Positive (FP):?IoU<IOUthreshold?\mathrm{IoU}<I O U_{\text {threshold }}IoU<IOUthreshold???的所有检测框数量
-
False Negative (FN): 没有检测到的 GT 的数量
-
True Negative (TN): mAP中无用到
查准率（Precision）: Precision?=TPTP+FP=TP?all?detections?=\frac{T P}{T P+F P}=\frac{T P}{\text { all detections }}=TP+FPTP?=?all?detections?TP?
查全率（Recall）: Recall?=TPTP+FN=TP?all?ground?truths?=\frac{T P}{T P+F N}=\frac{T P}{\text { all ground truths }}=TP+FNTP?=?all?ground?truths?TP?
5 模型推理预测：
使用模型进行预测，同时使用pdx.det.visualize将结果可视化，可视化结果将保存到work/PaddleDetection/output/PPYOLO/vdl_log下,载入模型推理保存图片至work/PaddleDetection/output/PPYOLO/img下。
In [?]
#maksssksksss152.png maksssksksss105.png
model = pdx.load_model('output/PPYOLO_YES/best_model')
image_dir = '../../Test/'
images = os.listdir(image_dir)
for img in images:
image_name = image_dir + img
result = model.predict(image_name)
pdx.det.visualize(image_name, result, threshold=0.3, save_dir='./output/PPYOLO_YES/img')In [?]
#展示模型推理结果
path = "../../Test/maksssksksss152.png"
img = Image.open(path)
plt.imshow(img) #根据数组绘制图像
plt.show() #显示图像
path = 'output/PPYOLO_YES/img/visualize_maksssksksss152.png'
img = Image.open(path)
plt.imshow(img) #根据数组绘制图像
plt.show() #显示图像6 总结：
????????本次课程主要学习了数据集获取，以及数据标注、数据划分、数据增强处理方法。