[人工智能]Datawhale组队学习：华为2022全球校园AI精英大赛：车道渲染数据智能质检赛题小结

在地图业务中，导航过程中所看到的背景道路界面是基于地图数据渲染生成。渲染过程中，部分数据会存在不同程度的问题，导致该部分数据渲染生成的道路存在缺陷，诸如缺边少角，异形道路等。为了更高效的检测这部分数据，降低人工成本，质检模型需要达到更高的准确度。根据问题数据所具有的共同模式建模，提高模型精度是降低成本的关键。希望通过本次比赛，挖掘计算机视觉方向人才，推动该领域发展。

评价指标：AUC(Area Under Curve)

赛题说明
本赛题为选手提供地图渲染数据及其部分标注。训练集包括车道渲染数据的图片集及部分标注，选手使用训练数据进行模型训练。测试集分为A/B两个测试集。测试集仅提供车道渲染数据图片集，选手使用模型预测测试图片是否存在问题。

数据说明:

本赛题给出的车道渲染数据为图片格式，包含两个大类，即问题图片和无问题图片，问题图片的问题范围包括：中心线问题、停止线问题、引导面问题、路肩问题、路面问题、箭头问题、车道线问题。请注意存在问题的图片可能有多个问题。图1~7分别给出了中心线、停止线、引导面、路肩、路面、箭头、车道线问题图片的例子。

赛题解析

本次比赛是一个**计算机视觉缺陷检测领域的图像分类赛**，需要选手通过训练集数据构建模型，然后对验证集数据进行预测，预测结果进行提交。
**本赛题给出的车道渲染数据为图片格式，包含两个大类，即问题图片和无问题图片。本题的任务是构建一种模型，根据地图渲染图片数据来预测图片是否存在问题。**

评估方式

比赛使用AUC(Area Under Curve)作为评价指标，AUC 越高，代表结果越优，排名越靠前。

提交方式
选手提交csv文件，编码采用无BOM 的UTF-8。

格式如下：imagename, defect_prob

其中imagename对应测试图片的图片名，defect_prob表示测试图片存在问题的概率。imagename, defect_prob间采用英文逗号分隔。

关于数据集：

训练集包含有标签图片29146张，无标签图片132608张，测试集10000张。

小结：

一、数据增广：

选择合适的变换（randcrop、randnoise、flip等），使用torchvision.transforms

二、超参数选择：

batch_size = 32 or 64

epoch = 5 or 10

优化器optimizer的选择：

optim.SGD(model.parameters(), lr=0.001)

optim.SGD(model.parameters(), lr=0.001, momentum=0.9)
optim.SGD(model.parameters(), lr=0.001, momentum=0.9, weight_decay=1e-4)

optim.SGD(model.parameters(), lr=0.001, momentum=0.9, weight_decay=1e-2)

optim.Adam(model.parameters(), lr=0.001)

optim.Adam(model.parameters(), lr=0.001, weight_decay=1e-4)

optim.Adam(model.parameters(), lr=0.001, weight_decay=1e-2)

三、训练阶段：?

拆分一部分（20%）训练集为验证集，绘制训练集与验证集的损失曲线，可以计算出验证集的AUC和acc作为参考。

四、模型融合：

训练多个模型，对结果进行融合（加权平均等）。

四、其他

1：正负样本不均的问题

2：训练集级有大量未标签数据

问题一的解决思路：

通过正负样本的惩罚权重解决样本不均衡的问题的思想是在算法实现过程中，对于分类中不同样本数量的类别分别赋予不同的权重（一般思路分类中的小样本量类别权重高，大样本量类别权重低）。大家可以看一下focal_loss这个损失函数。

问题二的解决思路：

可以用有标签数据训练一个模型，给无标签数据打标签，取预测置信度高的样本合并到有标签数据集里，然后重新训练一个模型。但是这个方法不一定比直接用有标签数据训练更好，因为你的无标签数据的量太少了（按照问题中的说法是少于60个的），半监督带来的噪声说不定比有用信息还多。