1、一些想说的
对PaddlePaddle框架的使用做一下记录。
最近有一些任务，要求使用paddlepaddle框架去做一个目标检测的项目，刚拿到这个任务的时候我的内心也是有一点排斥的，这么好用的pytorch不香吗？
基于任务的要求我还是去开始做了，看了PaddleDection之后感觉还是比较齐全的，而且也是很简单去调用的，且各个trick很容易就可以组合起来。
总结起来
优点：
1.用起来确实蛮方便，
2.模块丰富
3.数据增强、组网、训练、压缩、部署端到端打通，支持云端/边缘端多架构、多设备部署
不足：
1.会存在一些难以解决的BUG
2.拿paddle去部署的资料还是不够丰富
国产框架还有一段的路要走，希望做大做强
2、简介
PaddleDetection飞桨目标检测开发套件，旨在帮助开发者更快更好地完成检测模型的组建、训练、优化及部署等全开发流程。
PaddleDetection模块化地实现了多种主流目标检测算法，提供了丰富的数据增强策略、网络模块组件（如骨干网络）、损失函数等，并集成了模型压缩和跨平台高性能部署能力。
经过长时间产业实践打磨，PaddleDetection已拥有顺畅、卓越的使用体验，被工业质检、遥感图像检测、无人巡检、新零售、互联网、科研等十多个行业的开发者广泛应用。
包含套件的总览图，用起来十分方便，直接调用就OK
3、环境配置
可以从网上找很多资料，这一点还是比较方便的。
4、数据集配置
可以选择的数据集格式有很多，包括COCO,VOC
我用的是VOC格式的数据集
关于VOC数据集的介绍：
https://blog.csdn.net/u013832707/article/details/800603272.
整体的结构图
划分数据集相关代码
import os
import random
train_precent=0.7
xml="./Annotations"
save="./ImageSets/Main"
total_xml=os.listdir(xml)
num=len(total_xml)
tr=int(num*train_precent)
train=range(0,tr)
ftrain=open("./ImageSets/Main/train.txt","w")
ftest=open("./ImageSets/Main/test.txt","w")
for i in range(num):
name=total_xml[i][:-4]+"\n"
if i in train:
ftrain.write(name)
else:
ftest.write(name)
ftrain.close()
ftest.close()
这里需要注意的点是：在Main文件夹中生成的train.txt文件和val.txt文件是对数据集的划分，还需要进一步的利用如下代码（create_list.py，该代码paddle提供，但是我看现在提供的有点问题参考的这位老哥好大哥）生成含有路径信息以及图像和xml文件一一对应的文件。
处理完之后应该是这种格式。
原因如下：
#############################create_list.py######################################
import os
import os.path as osp
import re
import random
devkit_dir = './'
years = ['2007', '2012']
def get_dir(devkit_dir, type):
return osp.join(devkit_dir, type)
def walk_dir(devkit_dir):
filelist_dir = get_dir(devkit_dir, 'ImageSets/Main')
annotation_dir = get_dir(devkit_dir, 'Annotations')
img_dir = get_dir(devkit_dir, 'JPEGImages')
trainval_list = []
test_list = []
added = set()
for _, _, files in os.walk(filelist_dir):
for fname in files:
img_ann_list = []
if re.match('train\.txt', fname):
img_ann_list = trainval_list
elif re.match('val\.txt', fname):
img_ann_list = test_list
else:
continue
fpath = osp.join(filelist_dir, fname)
for line in open(fpath):
name_prefix = line.strip().split()[0]
if name_prefix in added:
continue
added.add(name_prefix)
ann_path = osp.join(annotation_dir, name_prefix + '.xml')
img_path = osp.join(img_dir, name_prefix + '.jpg')
assert os.path.isfile(ann_path), 'file %s not found.' % ann_path
assert os.path.isfile(img_path), 'file %s not found.' % img_path
img_ann_list.append((img_path, ann_path))
return trainval_list, test_list
def prepare_filelist(devkit_dir, output_dir):
trainval_list = []
test_list = []
trainval, test = walk_dir(devkit_dir)
trainval_list.extend(trainval)
test_list.extend(test)
random.shuffle(trainval_list)
with open(osp.join(output_dir, 'train.txt'), 'w') as ftrainval:
for item in trainval_list:
ftrainval.write(item[0] + ' ' + item[1] + '\n')
with open(osp.join(output_dir, 'val.txt'), 'w') as ftest:
for item in test_list:
ftest.write(item[0] + ' ' + item[1] + '\n')
if __name__ == '__main__':
prepare_filelist(devkit_dir, '.')
最终生成如下所示的数据集格式如下，其中label_list.txt和Mian中的label_list.txt一致。train.txt文件和val.txt是新生成的图像-xml的名称路径对应文件。
5、训练（以PPYOLO为例）
训练前一些参数设置
运行如下命令，即可开始训练
python -u tools/train.py configs/ppyolo/ppyolo_r18vd_coco.yml
评估结果
python -u tools/eval.py -c configs/ppyolo/ppyolo_r18vd_coco.yml -o weights=output/ppyolo_r18vd_coco/99.pdparam
也可以边训练便评估
python -u tools/train.py configs/ppyolo/ppyolo_r18vd_coco.yml --eval
关于训练命令的阐述：
-c configs/yolov3_mobilenet_v1_fruit.yml 用来指定配置文件
–use_tb 是否使用tb-paddle记录数据，进而在TensorBoard中显示，默认值是False
–tb_log_dir 指定 tb-paddle 记录数据的存储路径
–eval 是否边训练边测试
训练过程可视化
训练期间可以通过tensorboard实时观察loss和精度值，启动命令如下：
tensorboard --logdir tb_fruit_dir/scalar
6、模型导出
当我们训练完成后，在项目文件的output中可以看到我们生成的模型文件，由于我们使用 --eval参数进行边训练边测试，因此我们可以获得训练过程中最好的模型文件，我们将做好的模型进行导出
python tools/export_model.py -c configs/ppyolo/ppyolo_r18vd_coco.yml --output_dir=./inference_model -o weights=output/ppyolo_r18vd_coco/99
7、模型预测
python -u tools/infer.py -c configs/ppyolo/ppyolo_r18vd_coco.yml -o weights=./inference_model/ppyolo_r18vd_coco --infer_img=demo/test/ --output_dir=infer_output
其实这个我用paddle框架训练出来的模型检测的图，不过paddl框架效果也很好
在训练中也有一些注意不到的地方，欢迎讨论~
参考：PaddleDetection的文档
https://github.com/PaddlePaddle/PaddleDetection.
https://blog.csdn.net/yzl819819/article/details/104336990.
https://blog.csdn.net/yzl819819/article/details/104336990.