基于U-net结构改进的影像分割技术，面向性能优化和面向结构改进两个方面进行总结。
一、U-Net是基于FCN改进而成，包括编码器、瓶颈模块、解码器几部分
U型结构结合上下文信息和训练速度快、使用数据量小，满足医学影像分割的诉求而在医学影像分割中广泛应用。
改进U-net结构：通过结构改进、添加新模块等提高医学影像分割的准确性、运算效率、适用范围等。
改进目的和改进手段两个方面。
损失函数表示预测和目标之间的差异，常用交叉熵、Dice loss等判断训练模型与真值之间的差异。
分割评价参数是评价图像分割好坏的重要参数，常用Dice等评价网络模型的优劣。
评价参数：
机器学习中的混淆矩阵，主要是解决二分类问题。
1、精确率表示的是预测为正的样本中有多少被预测正确。
2、召回率就是召回目标类别，即表示样本中的正样本有多少被预测正确了。
3、准确率是评估获得所有成果中目标成果所占的比率。
4、综合评价指标是综合精确率和召回率的评估指标，用于反应整体的情况。
5、loU又称Jaccard Index，是目标检测常用到的评价参数，通过预测边框和真实边框的比值计算两个样本的相似度或者重叠度。
6、mloU为语义分割的标准度量，在每个类上计算loU之后进行平均。
7、Dice Coefficient
Dice是一种评估两个轮廓区域相似度的函数，通常用于计算两个样本的相似度或者重叠度。
8、SSIM是图像质量评价结构相似性指标，是基于样本x和y之间对于亮度、对比度、结构三个方面进行比较，其范围为【0,1】，值越大两图像之间的差异越小。
损失函数
损失函数的设计要考虑数据集的特点。
1、交叉熵损失函数：
2、Focal loss，为了解决one-stage目标检测中正负样本比例严重失衡的为题，该损失函数降低了大量简单负样本在训练中所占的权重。
3、Dice loss在感兴趣的解剖结构仅占据扫描的非常小的区域，从而使学习过程陷入损失函数的局部最小值，所以要加大前景区域的权重。
4、Tversky loss。 Tversky函数是Dice系数和Jaccard系数的一种广义系数。
二、面向性能优化的改进方法：
面向性能优化的改进工作：包括1将U-net扩展到3d图像，2增强相关特征，抑制无关特征，3改进计算速度，内存占用，4改进特征融合方法，5针对小样本训练数据集的改进，6提高泛化能力的改进。
- 将U-Net扩展到3D图像，输入输出是三维图像，提升了U-Net模型对三维图像的分割准确性。
V-Net，在输入3D图像按照通道拆分的同时，在每一层加入残差结构，以确保短时间收敛，降采样采用卷积操作替换最大池化操作，有利于在接下来的网络层中减小输入信号的尺寸的同时扩大特征感受野范围，并提出Dice-based loss这个新的损失函数。 - 针对增强相关特征，抑制无关特征的改进，一般在编解码器和瓶颈处加入SE或者attention模块，这两个模块都可以从空间和通道两个方面进行激励，以达到增强特征的效果。
加入SE模块，三个SE模块，信道SE，空间SE，同时进行空间和信道SE，空间和信道SE虽然增加了一些计算复杂度但是分割性能好。
加入attention块，将计算资源偏向信号最具信息性的部分的方法，一般在图像分割中由于病灶较小且形状变化较大，常用于减少假阳性预测。 - 针对内存占用、计算速度的改进方法
减少内存： 扩大patch中的volume；用较小的batch size训练。
加入稠密卷积块，加入可逆结构，加入SE残差块，通道分组，加入Inception块。 - 针对特征融合的改进方法。网络的上下文特征的融合：编解码器加入新的模块DAC和RMP；在跳连处改进；外接特征金字塔。
不同模态特征的融合上下文特征的融合 - 针对提高泛化能力的改进方法。从内部结构提出适应不同提供商图像的域适配器，从外部接入Cycle-GAN网络，CycleGAN是一个为未配对的图像到图像转换而设计的既定架构，包括两个生成器GS和GT，代表源域和目标域，两个辨别器DS和DT，辨别是原始图像还是转换图像。
- 针对小样本训练数据集的改进。重复网络结构和数据集标签。
三、针对U-Net模块结构的改进：
针对U-Net模块结构的改进：包括1针对编码器、解码器结构的改进，2针对损失函数的改进，3对瓶颈模块结构的改进，4增加数据流路径的改进，5采用自动结构搜索的改进等方面。
这些工作对网络结构进行了不同的变体，或是针对不同的问题加入了不同的结构
- 针对编码器解码器结构的改进方法。卷积操作的改进，如加入协调引导卷积、长短残差结构；编解码器单元的改进，如可以可变形卷积块、循环残差卷积和概率模块；上、下采样的改进，如可以采用长短残差结构和最近邻插值的方法。
- 基于损失函数的改进方法。解决类不平衡的问题，主要是从函数自身和两个损失函数相结合两个方面进行改进。
- 针对增加数据流路径的改进方法。增加网络中不同模块之间的连接；将U-Net网络串行使用两次，也就是桥连接，从而达到信息成倍数流通的目的。
- 基于自动搜索最优网络结构的改进方法
- 基于瓶颈的改进方法。多采用attention机制。
