Introduction

最近，基于全卷积网络（FCN）的方法凭借其捕获高级语义的能力在场景解析方面取得了非凡的进步。但是，这些方法大多会叠加局部卷积和池化操作，因此，由于有效视场有限，因此很难很好地应对具有多种不同类别的复杂场景。

提高在CNN中对远程依赖关系建模的能力的一种方法是采用self-attention或non-local 模块，但是这种方式会消耗大量内存。其他用于远程上下文建模的方法有空洞卷积，全局/金字塔池化，这些方法的问题是输出输出都是方形，这限制了它们在现实场景中的灵活性。例如，在某些情况下，目标对象可能具有远距离的带状结构或离散分布（如图）。使用方形不能很好地解决问题，因为它不可避免地会合并来自无关区域的信息。

在本文中，为了更有效地捕获远程依赖关系，进一步研究使用池化来扩大CNN的接收域并收集信息上下文，并提出了条形池化的概念。作为全局池的替代方法，条形池化具有两个优点。首先，它沿一个空间维度部署了长条的核，因此可以捕获孤立区域的长期关系。其次，它沿其他空间维保持窄的内核形状，这有助于捕获本地上下文并防止无关区域干扰标签预测。集成了如此长而狭窄的内核，使得场景解析网络可以同时聚合全局和局部上下文。这与传统的从固定的正方形区域收集上下文的池化本质上是不同的。

基于条形池化操作，我们提出了两个场景解析网络模块。首先，文中设计一个条形池化模块（SPM），以有效地扩大主干的接收范围。其次，文中提出了一种新颖的附加残差构建模块，称为混合池化模块（MPM），以进一步在高语义级别上对远程依赖性进行建模。为了证明所提出的基于池化的模块的有效性，作者提出了SPNet，它将这两个模块都整合到了ResNet 的主干中。实验表明，SPNet根据流行的场景解析基准建立了最新的结果。

Model

1、Strip Pooling Module（SPM）

?池化常用来捕获大范围的上下文信息，传统池化内核尺寸为N*N，而本文提出的条形池化的内核尺寸为1*N和N*1。即是池化的kernel大小为1 ? H , W ? 1 ，垂直与水平方向可以表示为：

在得到上面的池化结果之后会将得到的特征使用一个1D的卷积进行调和，之后就是在各自的方向上进行扩展，使其与先前的特征图大小一致，再将两个特征图进行融合：

之后，经过sigmoid激活与原特征图进行点乘得到最后的结果。如下图：

?主要流程：

输入一个特征图，这里实际上为C×H×W，为了方便讲解图中只画了一个通道。C个通道的特征图输入处理原理与这里所示的一个通道操作一模一样。
输入的特征图经过水平和竖直条纹池化后变为H×1和1×W，对池化核内的元素值求平均，并以该值作为池化输出值。
随后经过卷积核为3的1D卷积对两个输出feature map分别沿着左右和上下进行扩容，扩容后两个特征图尺寸相同，对扩容后的特征图对应相同位置求和得到H×W的特征图。
之后通过1×1的卷积与sigmoid处理后与原输入图对应像素相乘得到了输出结果。
?

2、Mixed Pooling Module(MPM)

文章中提出的MPM模块（包含两个子网络，长依赖与短依赖）与之前的PPM模块进行比较有3点不同的地方：

对于长依赖，这里使用文章的strip pooling操作去替换原有的global average pooling操作，下图所示；
对于短依赖，这里使用轻量化的PPM模块进行设计，解决局部依赖问题，见下图所示；
于上面的两个模块，使用了shortcut连接的方式改动；具体地，在每个子模块之前，首先使用1×1卷积层来减少通道数量。然后将两个子模块的输出被串联在一起，并引入另一个1×1卷积层以进行通道扩展。其中，除了用于通道数量减少和扩展的卷积层以外，所有卷积层的内核大小均为3×3或3的倍数大小。