1. 摘要

如何恢复背光图像仍然是一个具有挑战性的任务。这一领域中最先进的方法是基于监督学习，因此它们通常局限于特定的训练数据。在本文中，我们提出了一种“零次”(Zero-shot)的背光图像恢复方案，它利用了深度学习的能力，但不依赖任何之前的图像示例或之前的训练。具体来说，我们在测试时训练一个针对图像的小CNN，即ExCNet (Exposure Correction Network，简称Exposure Correction Network)，以估计出最适合测试背光图像的“s曲线”。一旦估计出s曲线，就可以直接恢复测试图像。ExCNet可以适应每个图像的不同设置。这使得我们的方法可以广泛适用于不同的拍摄场景和各种背光条件。对1512张真实的背光图像进行的统计研究表明，我们的方法可以大大超过竞争对手。据我们所知，我们的方案是第一个无监督的基于cnn的背光图像恢复方法。
注：本文的Zero-shot 指的是网络不需要提前训练，然后测试。它可以对给定的背光图像直接估计出最适合的s曲线。通过它的s曲线，背光图像可以相应地恢复。
思路启发 ：仅从测试图像本身学习恢复模型的思想在图像超分辨率[1]领域已经证明是可行的。在[1]中，Shocher等人提出了一种超分辨率模型，该模型是一个仅从低分辨率测试图像中提取内部示例训练而成的针对图像的CNN。
本文贡献 ：

我们方法的核心是设计特定的CNN，即曝光校正网络(Exposure Correction Network)。给定一个测试的背光图像I, ExCNet可以在有限的迭代时间内估计出最适合I的参数“s曲线”。用它的s曲线，我可以直接还原。据我们所知，我们的工作是第一个自动纠正图像曝光的无监督学习框架。它可以很容易地应用于不同曝光水平下的各种内容的图像。
在设计ExCNet时，一个关键问题是如何设计一个损失函数来评估图像的不良曝光程度。为此，我们在MRF (Markov Random Field)[17]公式的驱动下，设计了一个基于块的损失函数，该函数倾向于最大化所有块的可见性，同时保持相邻块之间的相对差异。实验表明，所设计的损失函数可以指导ExCNet获得较好的结果。
由于ExCNet的CNN结构，我们的方法可以学习到图像与其最佳“s曲线”参数之间的映射关系。因此，随着处理图像的增加，当面对不可见的图像时，ExCNet只需较少的迭代就能收敛到优化曲线。另外，在处理视频流时，后续帧的校正可以通过前一帧的参数来指导，不会产生像[28]这样的明显闪烁伪影，计算成本相对较低。

2. 方法概述

2.1 "S"曲线

本文通过网络估计"S"曲线的参数，从而确定特定S曲线，对图像进行非线性映射变换。下图为典型的S曲线图，图的横轴表示原始图像的值，纵轴表示新的调整值。当调整图像时，图形的右上方区域表示高亮，左下方区域表示阴影。
在这里插入图片描述
"S"曲线方程如下：

其中：x为输入像素值，

下式为增量函数，
在这里插入图片描述

5. 参考文献

[1] Assaf Shocher, Nadav Cohen, and Michal Irani. 2018. “Zero-shot” super-resolution
using deep internal learning. In 2018 IEEE/CVF Conference on Computer Vision
and Pattern Recognition (CVPR ’18). IEEE, Salt Lake City, UT, USA, 3118–3126.
https://doi.org/10.1109/CVPR.2018.00329