1. 论文基本信息
- 论文:Decoupled Knowledge Distillation
- 地址:https://arxiv.org/pdf/2203.08679.pdf
- 代码:https://github.com/megvii-research/mdistiller
2. 背景与摘要
知识蒸馏花样繁多,在有教师模型的基础上,知识蒸馏可以从response、relation、feature等角度进行研究,设计loss,本文中,作为认为其实最基础的KD仍然有很大的潜力可以挖掘。因此对KD方法进行改进,将教师模型中携带的信息进行解耦,分别监督,最终精度达到了SOTA,让KD方法再次焕发新春。
3. 方法介绍
KD中提出,教师模型包含dark knowledge,这种dark knowledge相比于hard label包含了更多的信息,因此学生模型可以学到更多的知识。但是教师模型的osftlabel有个缺点,就是两级分化比较严重,即对于top-1 class id会给出非常高的score接近1),对于其他的类别,其score接近0,因此在这里一般建议设置温度系数t,对标签进行平滑,增加教师模型中的dark knowledge。
上面这种做法其实有个缺点:对于不同的教师模型,可能都需要设置不同的温度系数(教师模型的拟合程度不同),这个增加了蒸馏的难度。
作者在研究的过程中,发现其实KD loss是可以解耦的,解耦为
|