Underexposed Photo Enhancement using Deep Illumination Estimation
阅读札记

??论文发表于2019年的CVPR。

Abstract

?? $?$ 本文提出一种新的端到端欠曝光图像增强的神经网络，该网络首先估计一个图像到照明的映射，对不同的照明条件进行建模，然后获取照明图来照亮曝光不足的照片。
?? $?$ 设计了一个损失函数，该函数采用了光照的各种约束和先验，从而可以有效地恢复自然曝光、适当对比度、清晰细节和生动色彩的欠曝光照片。
?? $?$ 准备了一个新的数据集，3000张曝光不足的图像，每一张都有一个经过专家润色的参考。
在这里插入图片描述

Method

图像增强模型

??图像增强任务可以看作是寻找映射函数 $F$ ，使得
在这里插入图片描述 ?? $I$ ：输入的欠曝光图像
?? $\tilde{I}$ ：输出的增强后图像
??在基于Retinex的图像增强方法中， $F$ 的逆通常被建模为一个照明映射 $S$ ，该函数以像素方式与反射图像 $\tilde{I}$ 相乘，生成观察到的图像 $I$ ：
在这里插入图片描述
?? $?$ ：逐像素的乘法
??本文将反射分量 $\tilde{I}$ 视为良好曝光的图像，因此将 $\tilde{I}$ 作为增强结果，而 $I$ 作为观察到的欠曝光图像。若 $S$ 已知，可通过 $F(I)= S^{(-1)}*I$ 获得增强结果 $\tilde{I}$ 。本文方法中 $S$ 建模为多通道(R, G, B)数据，而不是单通道数据，以提高其建模颜色增强的能力，特别是处理不同颜色通道之间的非线性。

网络结构

在这里插入图片描述
??首先，通过下采样并将输入编码成特征图，提取局部和全局特征，并通过卷积层将它们连接起来预测低分辨率光照。然后对结果进行上采样，生成全分辨率的多通道照明 $S$ (hot color map)，并将其用于恢复全分辨率增强图像。本文方法训练端到端网络，从具有三个损失分量 ${L_r^i,L_s^i,L_c^i}$ 的图像对 ${I_i,\tilde{I}_i}$ 学习 $S$ 。

损失函数

??从一组 $N$ 个图像对 $\{(I_i,\tilde{I}_i)\}_{i=1}^N$ 学习光照映射。我们设计了一个损失函数 $L$ ，它由三个分量组成，并在网络训练期间使其最小化。表示为
在这里插入图片描述
?? $L_r^i,L_s^i,L_c^i$ ：损失分量
?? $ω_r,ω_s,ω_c$ ：损失分量权重。
（本文取 $ω_r=1，ω_s=2，ω_c=1$ ）

重构损失
在这里插入图片描述
?? $I_i$ 和 $\tilde{I}_i$ 中的所有像素通道归一化为 $[0, 1]$
?? $_{c∈\{r,g,b\}}$ ：像素颜色通道
?? $I_i)_c≤(S)_c≤1$ ：多通道照明范围约束。（由于 $F(I_i )= S^{(-1)}*I_i$ ，将 $I_i$ 设置为 $S$ 的下界可以确保增强结果 $F(I_i )$ 中的所有颜色通道上界为1，从而避免了色域之外的颜色，而将1设置为 $S$ 的上界则可以避免错误地使曝光不足的区域变暗。）

平滑损失
??根据平滑先验，自然图像中的光照一般是局部平滑的。在本文的网络中采用这个先验有两个优点，首先，它有助于减少过拟合，提高网络的泛化能力。第二，增强了图像的对比度。当相邻像素 $p$ 和 $q$ 具有相似的光照值时，它们在增强图像中的对比度可以估计为 $|\tilde{I}_p-\tilde{I}_q |≈S_p^{-1}*|I_p-I_q |$ ，因为 $S \leq 1$ ，所以也应该放大。因此照度 $S$ 上的平滑损失定义为
在这里插入图片描述
?? $_x,?_y$ ：图像空间在水平和垂直方向上的偏导数
?? $ω_{(x,c)}^p,ω_{(y,c)}^p$ ：空间变化的(每通道)平滑权值，表示为

?? $L_i$ ：输入图像 $I_i$ 的对数图像
?? $θ$ ：控制图像梯度灵敏度的参数（本文取 $θ = 1.2$ ）
?? $?$ ：一个小常数，通常设置为0.0001，防止被零除。
??直观地说，平滑损失使得具有小梯度的像素上的照明是平滑的，而具有大梯度的像素上的照明是不连续的。值得注意的是，对于曝光不足的图像，图像内容和细节往往较弱。不一致的照明更有可能产生大的梯度。

颜色损失
??颜色损失促进增强图像 $F(I_i )$ 中的颜色与相应的专家渲染图像 $\tilde{I}_i$ 中的颜色匹配
在这里插入图片描述
?? $_p$ ：像素
?? $∠ (,)$ ：计算两种颜色夹角的算子，将RGB颜色作为三维矢量。
??颜色损失为 $F(I_i )$ 和 $\tilde{I}_i$ 中的每个像素对颜色向量之间的角度求和。
??★本文在其他颜色空间中使用这个简单公式而不是 $L_2$ 距离的原因如下:首先，重构损失已经隐式测量了 $L_2$ 色差。其次，由于 $L_2$ 度量仅用数字度量色差，它不能保证颜色向量具有相同的方向。

消融实验结果
在这里插入图片描述
??对比第2和第3幅图像，发现通过最小化重构损失，结果细节更清晰，对比度更好。
??对比第3和第4幅图像，通过进一步考虑平滑损失，与仅考虑重构损失的结果相比，恢复了良好的图像对比度和更清晰的细节。
??对比第4和第5幅图像，可以看出有颜色损失和没有颜色损失的结果相比，色彩更加生动。

训练数据集

??本文准备了一个包含3000张图片的新数据集来训练网络，该数据集涵盖了广泛的照明条件、场景、主题和风格，如图所示。本文将数据集中的图像随机分成两个子集：2750张用于训练，其余用于测试。
在这里插入图片描述

实现细节

??本文在TensorFlow上构建网络，并在NVidia Titan X Pascal GPU上以16个小批处理大小训练它40个epoch。整个网络使用Adam优化器进行优化，固定学习率为 $10^{-4}$ 。在数据增加方面，随机裁剪512×512的patch，然后对所有patch进行随机镜像、调整大小和旋转。下采样输入具有固定的256×256分辨率。编码器网络是一个预先训练的VGG16。局部特征提取器包含两个卷积层，全局特征提取器包含两个卷积层和三个全连通层。使用基于双边网格的模块对输出进行上采样。