2022 NIPS PKD: General Distillation Framework for Object Detectors via Pearson Correlation Coefficient
PKD：基于皮尔逊相关系数的通用目标检测知识蒸馏框架
https://arxiv.org/pdf/2207.02039.pdf
作者：Weihan Cao，Jianfei Gao，Anda Cheng，Ke Cheng，Yifan Zhang，Jian Cheng（曹巍瀚、张一帆、高剑飞、程安达、程科、程健）
知识蒸馏(KD)是一种在目标检测中广泛应用的模型压缩技术。然而，目前对于如何在异构检测器之间进行知识蒸馏还缺乏相关研究。本文通过实验证明，尽管模型结构、检测头和标签分配算法不同，来自异构教师检测器的表达能力更强的FPN特征依然可以改善学生检测器。然而，直接对齐学生和教师网络提取的特征存在两个问题。首先，教师和学生网络特征幅值上的差异可能会对学生施加过于严格的约束。其次，激活程度较高的FPN层和通道会主导蒸馏损失的梯度，这将压倒知识蒸馏中其他特征的影响，并引入大量噪声。
针对上述问题，我们提出
订阅专栏 解锁全文
