主要参考文献及其收获

Unpaired image-to-image translation using cycle-consistent adversarial networks

Deep retinex decomposition for low-light enhancement,” in BMVC, 2018.分解网络

U-Net: Convolutional Net-works for Biomedical Image Segmentation??? U-net网络

1、使用LOL数据集训练分解网络比较合适

2、循环损失函数

3、增加实例验证实验结果的有效性，目前比较靠谱。

Abstract

摘要—由于基于视觉的感知方法通常建立在正常光线假设的基础上，因此将它们部署到弱光环境中会有严重的安全问题。最近，已经提出了基于深度学习的方法来通过惩罚弱光和正常光图像的像素级损失来增强弱光图像。然而，它们大多存在以下问题:1)需要对弱光和正常光图像进行训练，2)对暗图像的性能差，3)噪声放大。为了缓解这些问题，本文提出了一种两阶段无监督方法，将弱光图像增强分解为预增强和后细化问题。在第一阶段，我们用传统的基于视网膜的方法对弱光图像进行预增强。在第二阶段，我们使用通过对抗训练学习的细化网络来进一步提高图像质量。实验结果表明，在四个基准数据集上，我们的方法优于以往的方法。此外，我们表明，我们的方法可以显著提高特征点匹配和在弱光条件下的同时定位和映射。

总结：??

? 1、无监督学习，不需要成对图像

? 2、增强分为预增强和后细化

? 3、增加实例，证明实验的有效性（特征点匹配? 同时定位和映射）?

introduction

写作方法：基于视觉的算法为机器人在各种任务上的感知带来了显著的进展，例如同时定位和映射(SLAM) [2]、对象识别[10]、深度估计[12]、[18]和语义分割[23]、[21]、[20]等。然而，这些算法是建立在假设图像是在良好的照明条件下捕获的基础上的。当将它们部署到现实世界的弱光环境中时，它引起了严重的关注。

基于深度学习的方法已经被不断地提出来增强弱光图像。这些方法以监督的方式学习具有成对的弱光和相应的正常光图像的卷积网络。虽然我们已经看到他们取得了很大的进步，但主要有三个问题阻碍了这些基于学习的方法在现实世界中的部署：

有监督学习所面临的问题：

1.首先，从真实场景中同时获取弱光图像及其对应的正常光线的图像是一项挑战。或者，研究人员引入使用合成的弱光图像，然而，由于域转换，从他们那里学习的模型不能直接部署到现实世界的场景中。

2.第二，光线极弱的情况很难处理。基于深度学习的方法已经证明了对于稍微弱光的图像的令人满意的性能，但是，它们对于暗图像表现不好。

3.此外，由于低信噪比，微光图像通常会受到强噪声的影响，这也给增强低照度图像带来了困难。同时增强照明和去噪是一个不小的问题，因为它们通常在不同的范式中进行表述和解决。增强亮度的同时会引起噪声放大。为了缓解上述困难，本文将弱光分解为增强前和细化后两个子问题，并提出了一种两阶段方法来更准确地增强弱光图像。具体来说，在第一阶段，我们基于视网膜理论增强从弱光图像分解的光照图。为此，我们采用了基于色调映射的方法[1]。在第二阶段，我们设计了一个细化网络，以进一步提高第一阶段获得的预增强图像的图像质量。我们设计了一个综合的损失函数，它结合了图像内容的损失、感知质量、总变化和对抗损失。这一阶段有助于改善图像质量，尤其是噪声抑制。我们的两阶段策略即使对于暗图像输入也表现出令人满意的性能，使用两阶段方法解决增强亮度和噪声抑制。基于监督学习的方法已经在这项任务上取得了显著的进展，学习所需的弱光和正常光图像对使得它们难以应用于现实世界的场景。成对图像难以获取，人工的在转换的现实，场景效果差。

贡献：

出了一种简单的两阶段无监督方法，对弱光图像进行预增强和后细化增强。它优于最先进的方法，包括基于监督学习的方法和基于非监督学习的方法。此外，我们展示了我们的方法的两个应用，其中我们证明了它可以归档更精确的特征点匹配，并且可以进一步无缝地应用于弱光条件下的SLAM。

model

考虑到同时进行光照增强和去噪的困难，将弱光图像增强直接公式化为一个学习问题很难获得令人满意的性能。因此，我们提出了一个两阶段框架，执行预增强和后细化以获得更好的性能。提出的框架如图2所示。给定弱光图像，我们首先增强从弱光输入分解的照明图。然后，预增强的图像被输入到细化网络，以进一步抑制噪声并提高整体质量。我们两阶段方法的细节如下所示