[数据结构与算法]【蒸馏+剪枝】（一）Cascaded channel pruning using hierarchical self-distillation

论文地址：

https://arxiv.org/abs/2008.06814

主要问题：

本文提出了一种基于教师模型、助教模型和学生模型的层次知识蒸馏的过滤级剪枝方法，助教模型与目标学生共享相同的架构和权重

主要思路：

作者建议使用来自相应教师模型的梯度信息独立地修剪每个模型，通过考虑每个师生模型对的相对大小，该公式提供了知识蒸馏的能力差距和滤波器显著性更新的偏差之间的自然权衡

具体实现：

基本定义：

剪枝目标可以通过使用应用于权重的二进制掩模

了解本专栏 订阅专栏 解锁全文 学习会员免费看