YOLO in the Dark - Domain Adaptation Method for Merging Multiple Models 阅读笔记
文章提出了一种解决在两个数据集上的两种任务的融合方式:
- 上左图为输入低光照图片,输出高光照图片的SID模型,右图为输入高光照图片输出检测结果的YOLO模型,文章希望提出 一个方式实现中间的图,即预测的时候能够将两个模型融合到一起成为输入低光照图片输出检测结果的模型.
- 为了实现上述方案,文章提出了一个知识蒸馏的方案:
- 利用一个训练好的SID模型和高\低光照两个数据集,训练一个输入高光照图片,提取SID中间特征的学生网络,该过程被视作一个提取G1d知识的知识蒸馏过程
- 知识蒸馏结束获取G2e后,进入融合网络的训练过程:
- 如左图所示,将高光图片 送入G2e产生SID的中间特征,然后通过glue网络生成目标检测网络YOLO的中间特征,送进YOLO的 后续网络产生目标检测结果.glue网络和G2e网络的第二次训练的监督有两个loss,一个是目标检测的loss,一个是glue网络的输出与高光图片送进yolo产生的中间特征的距离.
- 到了验证阶段,可以通过上面的支路,利用高光目标检测数据集进行验证
- 到了测试阶段,可以直接对低光照图片进行目标检测.