跑过很多模型，每次用Pascal Voc的组织方式都不同，但是一般都是用Pascal Voc2007+2012做训练，在Pascal Voc2007上做测试，记录如下：
1. 概览
对于分类/检测任务而言，完成07 + 12数据集合并后，共得到如下数据：
- 训练数据：
16551张图像，共40058个目标- 测试数据：
4952张图像，共12032个目标
其中VOC 2007的训练集提供了
- 训练数据：
2501张图像，共6301个目标- 验证数据：
2510张图像，共6307个目标- 训练+验证数据：
5011张图像，共12608个目标
VOC 2012的训练集提供了
- 训练数据：
5717张图像，共13609个目标- 验证数据：
5823张图像，共13841个目标- 训练+验证数据：
11540张图像，共27450个目标
VOC 2007的测试集提供了
测试数据：
4952张图像，共12032个目标
2. 第一种组织方式
我把VOC_ROOT设置为/data/data_hx/new-YOLO-PyTorch/data/VOCdevkit/，下面有VOC2007和VOC2012两个文件夹
这两个文件夹的内容怎么来的呢？
从官网下载四个压缩包，解压三个，其中VOC2012test我们是用不着的。
- 对
VOCtrainval_11-May-2012，直接重命名为VOC2012 - 对
VOCtrainval_06-Nov-2007和VOCtest_06-Nov-2007，两个内容合并后重命名为VOC2007.（组织方式下面给出）
├── VOCtest_06-Nov-2007
│ └── VOCdevkit
│ └── VOC2007
│ ├── Annotations
│ ├── ImageSets
│ ├── JPEGImages
│ ├── SegmentationClass（检测不用）
│ └── SegmentationObject（检测不用）
├── VOCtest_06-Nov-2007.tar
├── VOCtrainval_06-Nov-2007
│ └── VOCdevkit
│ └── VOC2007
│ ├── Annotations
│ ├── ImageSets
│ ├── JPEGImages
│ ├── SegmentationClass（检测不用）
│ └── SegmentationObject（检测不用）
做好上述工作后按以下方式加载VOC数据集：
先给出VOCDetection函数，默认的image_sets是07和12年的trainval
class VOCDetection(data.Dataset):
"""VOC Detection Dataset Object
input is image, target is annotation
Arguments:
root (string): filepath to VOCdevkit folder.
image_set (string): imageset to use (eg. 'train', 'val', 'test')
transform (callable, optional): transformation to perform on the
input image
target_transform (callable, optional): transformation to perform on the
target `annotation`
(eg: take in caption string, return tensor of word indices)
dataset_name (string, optional): which dataset to load
(default: 'VOC2007')
"""
def __init__(self, root, img_size,
image_sets=[('2007', 'trainval'), ('2012', 'trainval')],
transform=None, target_transform=VOCAnnotationTransform(),
dataset_name='VOC0712', mosaic=False):
self.root = root
self.img_size = img_size
self.image_set = image_sets
self.transform = transform
self.target_transform = target_transform
self.name = dataset_name
self._annopath = osp.join('%s', 'Annotations', '%s.xml')
self._imgpath = osp.join('%s', 'JPEGImages', '%s.jpg')
self.ids = list()
self.mosaic = mosaic
for (year, name) in image_sets:
rootpath = osp.join(self.root, 'VOC' + year)
for line in open(osp.join(rootpath, 'ImageSets', 'Main', name + '.txt')):
self.ids.append((rootpath, line.strip()))
训练时按如下方式加载：
if args.dataset == 'voc':
data_dir = VOC_ROOT #VOC2007和VOC2012所在的根目录
num_classes = 20
dataset = VOCDetection(root=data_dir,
img_size=train_size[0],
transform=SSDAugmentation(train_size)
) #这里是训练加载
evaluator = VOCAPIEvaluator(data_root=data_dir,
img_size=val_size,
device=device,
transform=BaseTransform(val_size),
labelmap=VOC_CLASSES
)
测试的时候按如下方式加载：
dataset = VOCDetection(root=VOC_ROOT, img_size=input_size[0], image_sets=[('2007', 'test')], transform=None)
dataset加载之后就是dataloader或者其他取图片的操作了，不同模型处理方式也不一样，这个都有不细说。
这种方式下，训练用的样本是trainval，训练中的评估用的是test
3. 第二种组织方式
在YOLOV3中，默认进行COCO数据集的评估。如果想对Pascal VOC进行验证，则按以下方式进行。
首先在yolov3/data/建立JPEGImages、ImageSets、Annotations三个文件夹。然后把VOCtrainval_11-May-2012、VOCtrainval_06-Nov-2007和VOCtest_06-Nov-2007三个文件夹内容都整合到一块儿。
JPEGImages改名为images
最后统计结果是
JPEGImages和Annotations下各有（17125+5011+4952=27088）
ImageSets中新建train.txt，内容是VOCtrainval_11-May-2012、VOCtrainval_06-Nov-2007文件夹里trainval.txt的合并，最后有11540+5011=16551项
ImageSets中新建test.txt，内容是VOCtest_06-Nov-2007里test.txt，最后由4952项
在yolov3目录下建立voc_label.py文件，使用python voc_label.py执行。
import xml.etree.ElementTree as ET
import pickle
import os
from os import listdir, getcwd
from os.path import join
sets = ['train', 'test']
classes = ["aeroplane", "bicycle", "bird", "boat", "bottle", "bus", "car", "cat", "chair", "cow", "diningtable", "dog", "horse", "motorbike", "person", "pottedplant", "sheep", "sofa", "train", "tvmonitor"]
def convert(size, box):
dw = 1. / size[0]
dh = 1. / size[1]
x = (box[0] + box[1]) / 2.0
y = (box[2] + box[3]) / 2.0
w = box[1] - box[0]
h = box[3] - box[2]
x = x * dw
w = w * dw
y = y * dh
h = h * dh
return (x, y, w, h)
def convert_annotation(image_id):
in_file = open('data/Annotations/%s.xml' % (image_id))
out_file = open('data/labels/%s.txt' % (image_id), 'w')
tree = ET.parse(in_file)
root = tree.getroot()
size = root.find('size')
w = int(size.find('width').text)
h = int(size.find('height').text)
for obj in root.iter('object'):
difficult = obj.find('difficult').text
cls = obj.find('name').text
if cls not in classes or int(difficult) == 1:
continue
cls_id = classes.index(cls)
xmlbox = obj.find('bndbox')
b = (float(xmlbox.find('xmin').text), float(xmlbox.find('xmax').text), float(xmlbox.find('ymin').text),
float(xmlbox.find('ymax').text))
bb = convert((w, h), b)
out_file.write(str(cls_id) + " " + " ".join([str(a) for a in bb]) + '\n')
wd = getcwd()
print(wd)
for image_set in sets:
if not os.path.exists('data/labels/'):
os.makedirs('data/labels/')
image_ids = open('data/ImageSets/%s.txt' % (image_set)).read().strip().split()
list_file = open('data/%s.txt' % (image_set), 'w')
for image_id in image_ids:
list_file.write('data/images/%s.jpg\n' % (image_id))
convert_annotation(image_id)
list_file.close()
在data目录下新建voc.data，内容如下
classes=20
train=data/train.txt
valid=data/test.txt
names=data/voc.names
backup=backup/
eval=coco
在data目录下新建voc.names，内容如下
aeroplane
bicycle
bird
boat
bottle
bus
car
cat
chair
cow
diningtable
dog
horse
motorbike
person
pottedplant
sheep
sofa
train
tvmonitor
按上述方式便可以成功组织数据集，之后运行train.py文件即可。
需注意环境会对训练过程带来影响
参考：
https://blog.zhujian.life/posts/5a56cd45.html