原文GitHub链接：https://github.com/scjjb/MIDOG_Domain_Adaptation
背景简介
- 在诊断肿瘤分级过程中，病理学家手工计算活检或肿瘤切除标本中分裂细胞的数量(mitotic figures)。由于这一过程是主观的和耗时的，数据驱动的人工智能(AI)方法被开发来自动检测mitotic figures
- 由于组织类型、染色标准以及用于数字化扫描设备的不统一，导致AI方法性能下降。领域适应方法已被广泛应用于各种应用中以缓解领域迁移问题
- 领域适应算法：CycleGAN、Neural Style Transfer, using the MIDOG 2021 Challenge dataset
- 检测算法：基于U-Net、RetinaNet的两种基线有丝分裂检测模型
领域适应方法通常旨在学习一种映射，以减少源数据分布和目标数据分布之间的差距。在计算机视觉问题的背景下，它们被用于提高基于图像的DL模型在推理过程中对不同领域数据的泛化。虽然卷积神经网络(CNNs)已被证明是解决大量视觉问题的强大工具，但它往往会过度拟合训练领域的数据，因此在推断过程中很难概括到目标领域。数字组织病理学的领域可能包括从组织染色过程、扫描仪特性或被扫描的组织学准备引入的变化。我们研究的领域适应方法集中于图像的视觉外观，获取一个内容图像和一个或多个样式图像，并创建内容图像的样式表示。
MIDOG2021挑战赛
- 有丝分裂检测竞赛，MICCAI举办。
- 200张训练图像，每张图片大小为
组织切片感兴趣区域，尺寸大约为5k*5k pix
- 染色标准相同：UMC Utrecht病理实验室制备得到
- 扫描设备不同：50 each from Hamamatsu XR nanozoomer 2.0 (HXR), Hamamatsu S360 0.5 NA (HS360), Aperio ScanScope CS2 (ACS), and Leica GT450
- 前150张由三位病理学家标注
数据分布特点
- ?The scanners have different colour profiles, with ACS 深红, and HXR producing 蓝紫.
有丝分裂检测模型
1. U-Net
一种语义分割架构，它结合多层降采样生成一个多尺度特征映射。
- 需要用于训练的分割掩码。通过将每个像素取为1(如果它在有丝分裂图像边界框内，则取为0)来生成。
- 输出一个概率图，通过multi-step 过程，将其转换为边界框预测结果。如图2所示：
具体步骤：首先，通过对概率图应用阈值生成二进制图。然后，通过选择外部轮廓从中提取目标
💡：任何高度或宽度小于10pix的检测都被认为是伪影，并被删除，因为根据经验发现这可以提高鲁棒性。其余的检测在它们的中心周围有一个边界框，大小与原始注释相同。我们使用了二分类交叉熵损失、戴斯损失和焦点损失的组合，我们将重点放在焦点损失上，因为这在不平衡数据集上表现良好。
2. RetinaNet
单阶段的目标检测架构。通过编码器和特征金字塔网络（FPN）输入信息，生成多尺度特征。这些特征被同时用于边界框回归和分类。此前已经证明，该方法可在专家病理学家水平上定量肺噬血细胞。
3. 有丝分裂评价指标：cell-wise F1 score
- precision和recall的调和平均
- 同样惩罚错检和漏检结果
- 真阳性被定义为一个有丝分裂图中心30像素以内的预测
领域适应方法
1. Neural Style Transfer（NST）
one-to-one 领域适应方法，将一个图像的风格转移到另一个图像的内容上。使用预训练的VGG19架构作为中间层，来提取输入图像的风格和内容特征。两项损失函数：内容损失和风格损失
2. CycleGAN
一种生成式对抗网络，用于视觉域适应。使用两个GANs，一个生成风格化图像，另一个从风格化图像重建原始输入图像。该结构用于克服模式崩溃（mode collapse）
用周期一致性损失衡量原始输入图像的再现性能，用对抗性损失衡量风格的传递性能。由于GAN损失往往不会给出收敛的明确指示，我们使用Fréchet Inception Distance来决定何时停止训练。
3. Macenko normalisation
一种传统的病理图像颜色校正方法，主要是分离染色成分，借助颜色模板图像实现颜色校正。
结果展示
1. U-Net结果
- Macenko颜色校正方法在外部测试集上表现优
- 未校正以及CycleGAN算法次之
2. RetinaNet结果
- CycleGAN方法普遍提升外部测试集性能
- 与U-Net的结果并不一致
总结
- 颜色校正的效果并不是一直有效的，未来的工作应该集中在评估应用于数字化组织病理学的领域适应方法的不一致性的来源，以提高可靠性
- 这可能包括组合来自不同扫描仪的图像，为CycleGAN创建一个更通用的目标域
- 应该评估用由域适应方法生成的人工图像训练两个检测模型的效果，因为这可能使检测器对域偏移更稳健
- 为了更好地评估领域调整方法，还应该比较它们各自的运行时间