MPRNet：多阶段渐进式图像恢复（论文及原理）
论文地址：https://arxiv.org/abs/2102.02808
代码地址：https://github.com/swz30/MPRNet
这是CVPR2021年的一篇图像恢复论文，创新点很多，性能SOTA，很有研究意义！做个学习笔记，记录下。
一、 摘要
① 本文提出了一个新的模型，首先使用编码器-解码器架构学习上下文特征，然后将它们与保留本地信息的高分辨率分支相结合。
② 引入了一种新颖的逐像素自适应设计，利用原位监督注意力来重新加权局部特征
③ 为解决不同阶段之间的信息交换，本文将信息不仅从早期到后期按顺序交换，而且还存在特征处理块之间的横向连接以避免任何信息丢失。。
④ 该架构对图像去雨、去雾、去模糊和去噪等有很显著的效果。
二、 前人研究
① 为了将解决方案空间限制为有效/自然图像，现有的恢复技术[19,29,39,59,66,67,100]明确使用通过经验观察手工制作的图像先验。
② 目前已经开发了很多用于图像恢复的网络模块和功能单元，如递归残差学习[4,95]、扩张卷积[4,81]、注意力机制[17,86,96]、密集连接[73,75],97]、编码器-解码器[7,13,43,65]和生成模型[44,62,90,92]
③ 研究表明，多级网络被证明比单级网络更加有效。
④ 现有的图像去模糊和图像去雨试图采用多阶段设计，但是识别效果是一大阻碍。
⑤ 采用编码器-解码器架构[71,88]，该架构在编码广泛的上下文信息方面有效但在保留空间图像细节方面不可靠，或者使用单尺度管道[63]提供空间准确但语义不太可靠的输出。
三、 本文创新点
本文提出了一个多阶段渐进式图像恢复架构，称为MPRNet。
本文主要贡献：
?一种新颖的多阶段方法，能够生成上下文丰富且空间准确的输出。由于其多阶段性质，我们的框架将具有挑战性的图像恢复任务分解为子任务，以逐步恢复退化的图像。
?一个有效的监督注意力模块，在进一步传播它们之前，在改进传入特征的每个阶段充分利用恢复的图像。
?跨阶段融合多尺度特征的策略。
本模型包含的几个重要的结构如下：
（1）早期阶段使用编码器-解码器来学习多尺度上下文信息，而最后阶段对原始图像分辨率进行操作以保留精细的空间细节。
（2）每两个阶段之间插入一个监督注意力模块(SAM)以实现渐进式学习。
（3）添加了跨阶段特征融合（CSFF）机制，有助于将多尺度上下文特征从早期阶段传播到后期阶段。
四、 MPRNet网络结构
MPRNet总体网络框架
① 前两个阶段基于编码器-解码器子网络，这些子网络由于大的感受野可以学习广泛的上下文信息。
② 最后一个阶段采用了一个对原始输入图像分辨率进行操作的子网络 （没有任何下采样操作），从而在最终输出图像中保留所需的精细纹理。
③ 本框架在每两个阶段之间加入一个受监督的注意力模块。将它们传递到下一阶段之前重新调整前一阶段的特征图。
④ 跨阶段特征融合机制，其中早期子网络的中间多尺度上下文特征有助于巩固后者子网络的中间特征。
⑤ 每个阶段都有输入图像。
五、 框架细节部分
5.1 互补特性处理
编码器-解码器网络：有效地编码了多尺度信息，但由于重复使用下采样操作，它们容易牺牲空间细节。
单尺度特征管道：在生成具有精细空间细节的图像方面是可靠的[6,18,93,97]。由于有限的感受野，它们的输出在语义上不太稳健。
为了利用这两种设计的优点，我们提出了一个多阶段框架，其中早期阶段包含编码器-解码器网络，最后阶段采用对原始输入分辨率进行操作的网络。
(a) 编码器-解码器子网络。
(b) 我们的 ORSNet 子网络中的原始分辨率块 (ORB) 的图示。 每个 ORB 包含多个通道注意力块。 GAP 代表全局平均池化 [49]。
(c ) 阶段 1 和阶段 2 之间的跨阶段特征融合。
(d) 阶段 2 和最后阶段之间的 CSFF。
原始分辨率子网：
为了保留从输入图像到输出图像的精细细节，我们在最后阶段引入了原始分辨率子网络（ORSNet）（见图2）。ORSNet不采用任何下采样操作并生成空间丰富的高分辨率特征。它由多个原始解析块(ORB)组成，每个原始解析块还包含CAB。
5.2 跨阶段特征融合
我们在两个编码器-解码器之间（见图2c）以及编码器-解码器和ORSNet之间（见图2d）引入了CSFF模块。
模块优点：
①由于在编码器-解码器中重复使用上采样和下采样操作，它使网络不易受到信息丢失的影响。
②一个阶段的多尺度特征有助于丰富下一阶段的特征。
③网络优化过程变得更加稳定，因为它简化了信息流，从而允许我们在整体架构中添加几个阶段。
5.3 监督注意力模块
我们在每两个阶段之间引入一个受监督的注意力模块，这有助于性能显著提升。
注意力模块框架如下：
① 提供了对每个阶段的渐进式图像恢复有用的真值实况监督信号
② 在局部监督预测的帮助下，我们生成注意力图以抑制当前阶段信息较少的征，只允许有用的特征传播到下一阶段。
六、结论
本文提出了一种用于图像恢复的多阶段架构，通过在每个阶段注入监督来逐步改善退化的输入。并且制定了指导原则，要求在多个阶段进行互补的特征处理，并在它们之间进行灵活的信息交换。
为此，本文提出了上下文丰富和空间准确的阶段，这些阶段可以统一编码一组不同的特征。为了确保相互阶段之间的协同作用，本文提出了跨阶段的特征融合以及从早期阶段到后期阶段的注意力引导输出交换。本文模型在模型大小方面是轻量级的，在运行时方面是高效的，这对于资源有限的设备非常有用。
总结：本篇论文曾一度达到去模糊领域指标的瓶颈，后续的大多数方法都致力于在指标上超过MPRNet，足以证明这篇文章的重要性。总体而言，这篇论文所提方法，相比于之前的方法性能上有很大的提升，后续大多数方法也都是基于本文算法或者部分模块进行改进，性能上得到一定提升。但是由于本论文采用多阶段的渐进式恢复网络方式，采用两个U-Net网络，所以无疑增加了模型的复杂度和参数量，对于个人来说，复现起来稍微困难，对设备和算力要求较高。