概述
雷达图像以及医学图像等常常缺乏数据并且生成成本高昂。不同设备之间的域偏移也进一步限制了深度学习在这些领域内的应用。而GANs在生成图像以及风格迁移等部分具有较好的性能，可以尝试使用GANs改善深度学习在这些领域的瓶颈。
1、使用生成对抗网络 （CycleGAN） 进行数据增强，以提高 CT 分割任务中的泛化性
Sandfort V, Yan K, Pickhardt P J, et al. Data augmentation using generative adversarial networks (CycleGAN) to improve generalizability in CT segmentation tasks[J]. Scientific reports, 2019, 9(1): 1-9.
在公共 CT 数据集中发现的腹部器官分割几乎普遍用于造影剂增强 CT 扫描，而真实世界数据包含一定比例的非造影剂 CT 扫描。这构成了分布转变 - 其中训练数据与真实世界数据不同 - 并且可能会对实际应用程序的性能产生不利影响。
我们的目标是通过使用数据增强来缓解这个问题。使用生成对抗网络（特别是周期性网络）我们生成训练数据对比CT的合成非对比度版本。然后，我们在原始数据上进行训练，同时使用合成的非对比CT进行数据增强。
In the clinical realm, caution is needed. The generated images may look like real images, but there is absolutely no assumption that the specific non-contrast images of an actual patient would really be similar to the generated images. Certainly, this is not a magical tool but more a very sophisticated type of ‘style transfer’. In the domain of CT it should be especially emphasized that these images are fundamentally different from what is commonly called ‘virtual non-contrast’ images. Virtual non-contrast images are the product of dual-energy CT scans. This enables a physical/mathematical modeling of the X-ray absorption and generates, within certain limitations, a true measurement of the tissues without the contrast. Of note, in this work, synthetic non-contrast CT images are used for strengthening data augmentation methods but not for actual measurements or diagnostic purposes.
notes:这篇文章指出，CycleGAN所生成的图像并不是真正的医学图像仿真，不过是一种复杂的风格迁移问题，距离基于物理的仿真方法之间尚有很大距离。因此合成非对比的CT图像只能用于扩充数据集，而不能作为实际测量或者诊断的依据。
2、使用CycleGAN改善夜间车辆检测
Sathananthavathi V, Kandasamy K, Rajamanickam D. Nighttime Vehicle Detection using Improved CycleGAN[J]. 2022.
In this paper, the nighttime vehicle enhancement technique is implemented using improved Cycle GAN and the Object Detection module was done by YOLO v5 network. For requiring the high features, in Generator ‘A’ shallow Unet architecture is proposed instead of Resnet where the Generator ‘B’ is constructed only with Resnet. Cycle GAN network is designed for solving the crisis of enhancing the poor lighting images. It is possible to generate the daytime fake images with nighttime image input to increase the detection accuracy. The network performance improvement is considered as a future work to address issues like haze effect and other climatic conditions。
由于在白天提取车辆特征进行分析比夜间容易很多，因此本文提出对夜间图像进行GAN变换，制造出其白天的假图像。同时，文章将生成器A从Resnet改为了Unet，实验证明能够提高精度。
3、 基于改进 CycleGAN 的浑浊水图像增强算法
LI B, HUANG H, LIU J, et al. Turbid Water Image Enhancement Algorithm Based on Improved CycleGAN[J]. 电子与信息学报, 2022, 44: 1-8.
浑浊水体图像增强具有重要的理论研究和实际应用价值。在CycleGAN模型框架内，本文提出了一种新的生成器网络BSDKNet和循环一致损失函数MLF，新的生成器网络和循环损失函数有效提升了CycleGAN对浑浊水体图像增强的精度和效率，经理论分析和仿真实验证明了新方法的有效性。BM –CycleGAN可实现与低浑浊度下水下光学图像相同画质的图像增强效果，增强后水下光学图像具有更强的解释性。
4、基于 MRI 的阿尔茨海默病诊断，并使用深度学习和 CycleGAN 进行数据增强
Badr A B S H. MRI-based Diagnosis of Alzheimer’s Disease using Deep Learning with CycleGAN for Data Augmentation[J].
阿尔茨海默氏症与脑质量下降有关，这可以从 MRI 扫描中辨别出来，因此适合深度学习和计算机视觉。一个准确有效的机器学习模型可以为医生提供很大的帮助，因为它可以加强他们的诊断。然而，深度学习通常需要大量数据，而医疗数据往往稀缺。机器学习的最新突破，即生成对抗网络 (GAN)，允许生成逼真的图像，为缺乏数据提供了潜在的解决方案。在这项研究中，构建了基于 ResNet50 的卷积神经网络，使用 MRI 扫描对阿尔茨海默病进行分类，获得了 89% 的 F-1 分数。此外，通过使用 CycleGAN 生成样本，我证明了 GAN 在用于数据增强时可以显着提高分类准确度，达到 95% 的 F-1 分数。
notes：本文言简意赅，使用CycleGAN就是为了扩充数据集，增强分类算法的使用价值。
5、基于CycleGAN 的特征转换与光学-SAR 植被指数之间的比较
The main purpose of this study is to perform a feature translation between Sentinel-1 SAR and Sentinel-2 optical data based on Cycle-GAN, when there is a missing specific feature in cloudy weathers. Furthermore, the Cycle-GAN based data is compared with other classical optical-SAR-based spectral indices NDVI, mRVI, and mRFDI.
由于光学图像经常在恶劣天气下失去效果，SAR图像又达不到光学图像的精度。于是采用CycleGAN将SAR图像转化为伪光学图像，再利用伪光学图像进行分析，能够弥补两方的损失，实现特征的另一种意义上的融合。
|