摘要

????????最近的非局部自注意方法(non-local)已被证明在捕获语义分割的长期依赖关系方面是有效的。这些方法通常形成一个相似的通道特征图（通过压缩空间维度）或空间特征图（通过压缩通道）来描述沿通道或空间维度的特征关系。然而，这种做法倾向于在其他维度上压缩特征依赖性，从而导致注意力缺失，这可能导致小类别的结果较差或大对象内部不一致的分割。为了解决这一问题，文章提出了一种新的方法，即全注意网络(FLANet)，在单一相似图的同时编码空间和通道注意，同时保持较高的计算效率。具体来说，对于每个通道图，FLANet可以通过一个新的完全注意模块，从所有其他通道图以及相关的空间位置中获取特征响应。该方法在三个具有挑战性的语义分割数据集上取得了最先进的性能，即在Cityscapes、ADE20K验证集和pascal VOC测试集上分别为83.6%、46.99%和88.5%?的精度。

论文背景? ? ? ?

? ? ? ? 近年来，语义分割模型通过捕获远程依赖关系取得了很大的进展。其中，基于非局部(NL)的方法是主流的。为了生成密集而全面的上下文信息，基于NL的模型利用自我注意机制来探索通道上的相互依赖关系或空间的维度上的依赖关系。FLANet将这两种NL块的变体分别表示为“通道NL”和“空间NL”，这两种变体的架构如下图所示。虽然这些探索对语义分割做出了巨大的贡献，但一个尖锐的问题，即注意力缺失，大多被忽略了。以通道NL为例，通道注意图是由维数为C×HW和HW×C的两个输入的矩阵乘法生成的。可以发现，每个信道都可以与所有其他信道图连接，而空间信息将被整合，在矩阵乘法过程中，每个空间位置都无法感知到其他位置的特征响应。同样，在空间NL中也缺少通道维度之间的相互作用。注意缺失的问题会损害3D上下文信息(CHW)的完整性，因此这两种NL变体只能以互补的方式部分受益。而FLANet在所有维度上生成相似特征图，并利用全局平均池化结果作为全局上下文先验，将空间交互引入到通道NL机制中允许在注意力图中进行充分注意。

?论文主要思想

????????其基本思想是在计算通道注意图时，利用全局上下文信息接收空间响应，使在单个注意单元中充分注意，具有较高的计算效率。具体来说，首先使每个空间位置从具有相同水平和垂直坐标的全局上下文中获取特征响应。其次，使用自我注意机制来捕捉任意两个通道图和相关的空间位置之间的完全注意相似性。最后，通过整合所有通道图的特征和相关的全局线索，利用生成的完全注意相似性来重新加权每个通道图。

????????值得注意的是，与传统的信道NL方法通过乘以来自同一位置的空间信息来探索信道相关性的方法不同，FLANet支持不同空间位置之间的空间连接，即利用单一注意图在空间和信道维度上的充分注意。通过这种方式，FLANet具有更全面的上下文视图，并且对不同的场景更健壮。此外，所构建的先验表示法带来了一个全局的接受域，有助于提高特征识别能力。?

声明：本内容来源网络，版权属于原作者，图片来源原论文。如有侵权，联系删除。

创作不易，欢迎大家点赞评论收藏关注！（想看更多最新的注意力机制文献欢迎关注浏览我的博客）