单位：NUS颜水成团队
ArXiv：https://arxiv.org/abs/2205.12956 （待开源）
导读：
当研究者在设计新的Transformer结构时，多数会考虑Transformer全局建模时与局部细节捕捉相结合的思路。例如，CNN和Transformer混合结构很多，要么串联要么并联构成local-global model。本篇中，作者将CNN和自注意力集成到一个模块内，也是多路径去分开学习高低频信息，但论文motivation强，论据有说服力，颜老师作品值得细读。
一、摘要
最近研究表明，Transformer具有强大的远程关系建模能力，但在捕获主要传达局部信息的高频成分上却无能为力。为了解决这个问题，作者提出了一个新颖的通用Inception Transformer，即iFormer。它能够有效地学习在视觉数据中包含高频和低频信息构成的综合的特征。具体来说，作者设计了一个Inception混合器，直接地将能够CNN和最大池化的优势移植到Transformer中用于捕获高频信息。不同于最近出现的混合架构（hybrid framework），Inception混合器通过通道分割机制，并行采用CNN+max-pooling路径和自注意力路径作为高低频混合器，带来了更高的效率，同时可以灵活对大范围内具有判别性的信息进行建模。
考虑到底层网络更多捕获高频细节，而顶层网络更多建模低频的全局信息，我们进一步设计了一个频率斜坡架构（a frequency ramp structure），即逐渐减少送往高频混合器中的维度，不断增加往低频混合器中的维度，这能够有效平衡不同层中的高低频分量。作者将iFormer在一系列视觉任务上测试基准，iFormer-S在ImageNet-1K上取得了Top1的83.4%精度，比DeiT-S高3.6%，甚至比Swin-B（83.3%）高一点点，但只用了1/4的参数和1/3的运算量。
二、结构
图为整体框架，一种再熟悉不过的SwinT架构。不同之处是作者设计了一个学习高低频以不同比例的Inception Mixer结构。
2.1 Inception mixer具体结构
原始的Inception-CNN模块
作者提出移植CNN的强大能力来提取高频表征到Transformer中。采用“Inception”是因为这个mixer受启发于Inception模块的多分支结构。如图即为Naive Inception CNN module。
Inception mixer具体结构：其中左边两个并行结构学习低频分量，右边单独的结构通过Attention模块学习高频分量
与直接输入图片tokens到MSA中不一样，Inception Mixer首先在通道维度上将输入特征划分，然后分别将分量分别输入到高低频混合器中。其中，高频混合器包含一个最大池化操作和一个并行的CNN操作；而低频混合器通过一个自注意力模块实现的。
三、分析
如图（a）（b）所示，傅里叶频谱图和相对log强度展示了ViT趋向于捕捉低频信号和很少的高频信号。和一些论文指出ViT展示了低通滤波器的特征相吻合。这种低频倾向性限制了ViTs的性能，因为：1、低频信息在所有层中填满，会恶化高频分量如局部纹理，和弱化建模能力。2、高频信息也具有判别性，对很多细颗粒的任务有帮助。实际上，人类视觉系统提取不同频率的视觉基本特征：低频分量提供了有关视觉刺激的全局信息，高频分量传达图像中局部边缘纹理等空间变换。因此，对于发展新的ViT框能够捕捉高低频分量很有必要。
性能对比：
IFormer在增量模型上都取得了领先的性能，超过之前的SwinT、CSwinT、FocalT等先进识别器。
总结
等待作品开源，不过看Inception Mixer架构，实现起来也不难。颜水成团队的作品，值得细品，无论从立意还是解析深度，都值得学习。