[人工智能]二维码提升对比度文献调研(5)--DeepLPF: Deep Local Parametric Filters for Image Enhancement

简介

（1）论文名称：
DeepLPF: Deep Local Parametric Filters for Image Enhancement CVPR 2020
（2）论文链接：
https://arxiv.org/abs/2003.13985
（3）源代码：
https://github.com/sjmoran/deep_local_parametric_filters

主要idea

本篇文章提出一种新颖的方法，它可以采用学习到的三种类型（椭圆滤波器、渐变滤波器以及多项式滤波器）的空间局部滤波器进行图像增强。作者引入一种深度神经网络（Deep Local Parametric Filters, DeepLPF）用于回归这些空间局部滤波器的参数并利用这些滤波器对图像进行增强。DeepLPF提供了一种很自然的形式进行模型正则、可解释性、直觉调整，从而生成具有更好视觉效果的图像。作者在多个数据集(Adobe-5K及变种)上验证了所提方法的优异性能.

上图给出了所提DeepLPF的网络架构示意图，给定低质输入RGB图像$I$及其对应的高质图像$Y$，可以训练DeepLPF学习变换$f_{\theta }$，此时有$\hat{Y}=f_{\theta }(I)$。
作者所设计的模型包含一个用于细粒度图像增强的单流(single-stream)网络，与一个用于局部增强的双流(two-stream)网络。
1.首先，采用标准CNN骨干网络(如ResNet、UNet)估计一个维度为$C\times H\times W$的特征图，其中前三个通道表示待调整图像${\hat{Y}}_1$，其他$C_{{}^{\prime }}=C?3$通道将送入后续的是三个滤波器参数预测模块；
2.然后，采用单流网络用于预测多项式滤波器的参数并用于增强骨干网络的输出${\hat{Y}}_1$得到${\hat{Y}}_2$；
3.其次，增强后的${\hat{Y}}_2$将与特征$C^{{}^{\prime }}$进行拼接并送入双流网络学习局部增强滤波器(渐变滤波器、椭圆滤波器)参数，所学习到的两种类型滤波器通过Add方式进行融合并得到尺度图$\hat{S}$，该尺度图将与前述增强图像${\hat{Y}}_2$通过Multiply融合得到${\hat{Y}}_3$；
4.最后，通过骨干网络增强的图像${\hat{Y}}_1$将与所得到的${\hat{Y}}_3$通过Add方式融合得到最终的输出$\hat{Y}$。
本文对用于图像增强的自动参数化滤波器进行探索与研究。受启发与专业图像编辑工具与软件，作者提出采用深度学习方式估计三种类型的滤波器（称之为滤镜可能更合适）参数，并用于指导图像增强。本文所提方法具有更好的可操作空间，同时具有更好的可解释性。该文为图像增强方法的研究打开了一扇窗户，它将有助于更多可落地AI画质算法的落地与产品化。

实验简介

数据集：
作者选用了由两个数据集衍生出的三个数据集。
(1)MIT-Adobe-5K-DPE;
(2)MIT-Adobe-5K_UPE;
(3)See-in-the-dark.

实验结果

输入1：

输出1：

输入2：

输出2：

输入3：

输出3：