论文题目：基于GAN的少样本视网膜血管分割研究
张思杰? ? 重庆大学微电子与通信工程学院
问题：1，传统深度网络一般需求大量带标签样本，否则随之而来的是网络过拟合等问题，但在医学领域这类带标签样本难以获取，需要专业的医生诊断标注才能得到，耗时长开销大，且存在专家个体差异带来的不同标准。2，多数数据集中健康者的样本和患者的样本数量不平衡，从而对网络性能产生影响。（由于患病者的样本总比健康者的样本稀缺，同理重症样本比轻症样本稀缺，用不平衡的样本做分类训练可能会导致训练结果向比重大的那部分偏移）
方法：本文针对这一问题，提出将各个程度的病变图像等量纳入，并控制训练集的总量，使得网络利用少量样本进行训练，减少了对带标签样本的需求，同时也保证了样本平衡。针对直接进行少样本训练会带来过拟合这一问题，本文采用了扩充数据集+通过损失函数增加正则化（利用标签对图像分割进行约束，利用对抗系统对生成器训练的损失函数添加限制项。生成器输出分割后的图像，判别器分辨生成器的输出与人工标注图，尽量将网络生成图定为假，将人工标注的标准图定为真，并将判别结果反馈于生成器，使其提高分割性能。）的方法。
预处理：主要操作有图像反色、按规定角度旋转，预处理操作可以提高后续血管分割的性能，特是旋转步骤既可以扩充数据集，同时也能给网络提供旋转不变性，这对于待测目标结构比较简单的医学图像分割非常重要，可以保证无论图像中的需要识别的对象的方向、角度如何变化都可以识别出来。
FS—GAN网络依旧沿用原始 GAN 的单生成器、单判别器的结构。其中生成器网络需要进行图像分割，其输入为预处理后的眼底血管图，输出为眼底血管分割图。
?FS-GAN 的生成器使用了编码、解码形式的 U-Net 结构
?
判别器则使用了 VGG16 ［19］ 的变种，网络结构如图所示，有 11 层卷积层、4 次最大池化、1 次全局池化和 1层全连接层(dense)，网络任务仍是尽力区分真实图像(人工分割的血管图)和假图像(生成器提供的分割血管图)。判别器的网络在 VGG16 结构上进行了修改，移除了最后的三层全连接网络，换成了全局平均池化，将每一个通道的全部像素进行均值计算，得到 1 024 个数据构成 1×1×1 024 的特征图，用全局池化代替全连接层一方面整合了全局信息，提高了网络的鲁棒性，另一方面也去除了全连接层的大量参数。全局池化后接全连接层，通过非线性映射将所有特征图整合为一个数值，以此判断输入图像是真实图像还是假图像。?
?损失函数：
原始 GAN 的目标函数即为寻求生成器与判别器的纳什均衡点，其判别器需要最小化的损失函数如下
x 为真实数据; z 为生成器所需的随机噪声信号(如高斯分布)，G(z) 为生成器生成的假数据。
而对于解决分割任务而提出的 FS-GAN 而言，判别器的输入数据有输入的图像 x 与真实图像 y 、输入的图像与假图像 G(x) 两对，实际上这部分生成对抗系统的损失函数使用的依旧是原始 GAN 使用的交叉熵损失函数所以生成对抗系统的目标函数比较类似，判别器端的损失函数如下
生成器端的损失函数：判别器端+交叉熵损失函数
?
实验：
数据集：原始 DＲIVE 数据集中选取了 6 张图像，3 张为健康人眼底图像，3 张为患者眼底图像，测试集沿用原始 DＲIVE 的测试集，共 20 张图像。由于 HＲF 数据集中没有划分训练、测试数据，所以本方法在 HＲF 数据集上进行处理，建立了一个混合 HＲF 数据集。训练集有 6 张图像，其中健康者眼底图像，轻度患者眼底图像(糖尿病性视网膜病变患者)和重度患者眼底图像(青光眼患者)各有 2 张。测试集则使用 HＲF 数据集中剩下的 39 张图像。
实验一：本次实验网络在 DＲIVE 数据集上预设训练迭代次数为 10，加权系数 θ 的多次实验测试指标，
?通过对比取值的结果后，发现其他条件不变的情况下，在 θ取值在 25 附近时网络性能最佳，
由于 DＲIVE 数据集在前几次迭代后，血管的主干部分便已经分割出来，但是细小血管和背景难以区分，分割图存在大量噪点。第 7 次迭代之后，细小血管已经较为清晰地分割出来，但仍旧存在背景区域的部分错误分割。第 10 次迭代后，背景部分基本剔除干净，血管分割效果与人工标注从视觉效果来看区别不大，但也存在少量被忽略的微小血管。
?第 1～8 轮迭代网络性能一直上升，而第 10 轮迭代后网络性能开始波动，网络整体损失并没有一直下降而是频繁波动，同时也考虑到时间成本，所以本实验将网络迭代次数选定为10 次。
实验二：
?可以看出 FS-GAN 在少样本的训练集限制下，对视网膜血管的分割性能却能非常接近其他使用完整数据集的血管分割方法。
实验三：
本次实验网络在混合 HＲF 数据集上训练迭代次数通过比较后依旧确定为 10，加权系数 θ 的多次实验测试指标如图 9 所示，通过对比取值的结果后，发现其他条件不变的情况下，在 θ 取值在 35 附近时网络性能最佳。
实验四：
?从指标上来说，FS-GAN 在 3 个网络中处于较高水平，且从观感来看，FS-GAN 的分割图的视觉效果也比其他两种方法要好，鉴于临床时眼科医生需要根据血管图对病人进行诊断，视觉效果好坏也是一个重要评价标准。
?
?实验五：
?
?表3 为 FS-GAN 对 HＲF 数据集中不同人群的分割结果统计，可以看出 FS-GAN 对三者的血管分割能力略有差别，对健康人的血管分割效果极其优秀，对青光眼病变患者和糖尿病性视网膜病变患者的血管分割效果各有一定程度的衰减，尤其是对糖尿病性视网膜病变患者的分割指标大幅下降。
实验六：
测试样本不平衡对网络性能的影响
数据集 1 是在 2. 1 节建立的混合数据集上进行修改，保持训练集不变，测试集去掉了 3 张健康者的图像。数据集2 是在数据集 1 的基础上保持测试集不变，训练集则删去糖尿病性视网膜病变患者 1 张图像和青光眼患者的 2张图像，加入 3 张健康者的图像，这样训练集就有 5 张健康者的图像和 1 张糖尿病性视网膜病变患者图像。
?从表 4 可以看出在数据集 2 上得到的推理结果中，
AUC-ＲOC、F1 值和全局准确率均比数据集 1 的结果低
0. 5%～1%，从数据来看似乎差别不大，但在图 9 中圈出
的区域中，不平衡的训练集迭代多次后仍然无法对淤血
区域分割出清晰的边界，说明本文提出的 FS-GAN 方法
在使用不平衡的训练集训练的最终分割效果比使用平衡
标签的训练集得到的结果更差，所以通过构建一个少样
本训练架构来保证训练集平衡是一项必要的任务
实验七：
针对生成对抗结构的消融实验
?网络仅靠旋转扩充训练集和 U-Net 网络对血管进行分割，性能指标中除了特异度之外均有所下降，其中灵敏度下降幅度很大，灵敏度越低，则意味着对细小血管的分割精度低。单从第
指标数据来看，消融前后差异很小，但通过图 13 中圈出的区域对比，可以看出缺少了对抗机制对生成器(U-Net网络)的约束，消融后网络对主干血管分割的效果基本不变，但对于复杂的细小血管、血管密集部分，分割精度有
所降低。说明本文提出的对 U-Net 加装生成对抗系统的
架构能够提高分割网络对细小血管以及复杂区域的分割