论文题目&作者
Gum-Net: Unsupervised Geometric Matching for Fast and Accurate 3D Subtomogram Image Alignment and Averaging
Xiangrui Zeng, Min Xu
CVPR 2020
创新点
本文是第一个用于强变换变化和高噪声水平图像的三维无监督集合匹配方法。
三个创新模块:
- 观察到标准深度特征提取过程中的最大池化和平均池化操作都寻求局部变换不变性，这不适合进行精确的集合匹配，因为在特征提取过程中需要很大程度上保留特征空间位置。因此，本文引入了一个特征提取模块，该模块包含了池化和滤波在内的光谱操作，以保持提取特征的空间位置。
- 提出了一种新的孪生匹配模块，通过并行处理两个特征相关映射来改善空间相关信息的传播。
- 在对齐模块中加入了一个改进的空间transformer网络，该网络具有可微的缺失楔插补策略。通过输入随机配对的子层析图，而不考虑它们的结构类信息，从而实现了完全无监督训练。因此和其他弱监督的集合匹配方法相比不需要实例级或类别级的匹配信息等监督信息。
相关工作
- 基于CNN的2D图像配准
二维图像配准通常包括两步：
（1）获取图像特征描述子；
（2）根据几何模型匹配特征描述子。
层次学习策略可以学习更好的特征描述。 - 无监督的光流估计
光流估计使用密集或系数的向量场来描述二维图像序列中像素的小位移。
虽然是无监督的，但是需要输入的图像仅有很小的像素偏移。 - 无监督可变形医学图像配准
也要求输入的图像对是相似的，移动很小。 - 非基于学习的subtomogram配准
需要很大的计算量，为了减少穷举搜索6D参数空间的计算成本，也有一些算法进行了改进。比如快速旋转匹配算法，考虑更多的振幅和相位信息，还有的是基于核范数同时配准多个子层析图。
这里对比了两种方法，一个是2012的，一个是2013的。（都是JSB上发的文章，2012是本文作者的文章。）
方法
- Feature extraction module
- Siamese matching module
为了更好地利用和处理特征相关信息，设计了一个孪生相关层。计算Cab和Cba两个相关图。它们各自保留一个输入特征图的空间坐标。两个相关映射的使用传播了更多的特征空间相关信息，用于变换参数的估计。
两张相关图被输入一个有卷积层组成的伪孪生网络，然后分别进行卷积，然后将其拼接成一个全连接层，在另一个全连接层后，孪生匹配模块输出估计的刚体变换参数（6D）。 - Unsupervised geometric alignment module
因为准备有监督的数据非常耗时，所以更适合无监督。
于是本文提出了一个无监督的几何配准模块，利用空间transformer网络和光谱数据输入，专门为子断层图数据设计。
表示由三维刚体变换参数生成的变换矩阵为：（ x i t , y i t , z i t x^t_i, y^t_i, z^t_i xit?,yit?,zit?)是目标坐标，（ x i s , y i s , z i s x^s_i, y^s_i, z^s_i xis?,yis?,zis?)是源坐标。 θ 11 , . . . , θ 33 \theta_{11},...,\theta_{33} θ11?,...,θ33?代表旋转变换， θ 14 , . . . , θ 34 \theta_{14},...,\theta_{34} θ14?,...,θ34?代表平移变换。
实验
-
真实数据集(6个) + 模拟数据集(9个)
-
在模拟数据集上，通过将估计的变换参数和GT进行比较，评价配准的精度；包括旋转损失和平移损失，都是用的欧氏距离来度量。
-
在真实数据集上，通过标记哦使用本文方法和用baseline方法计算得到的相互关系进行评估，作为配准精度的间接指标。
-
模拟数据使用的方法，考虑了缺失楔和CTF的tomogram重建过程。选择了五种典型的大分子复合物的数据集，都是不对称的，来保证结果的唯一性。模拟了一个干净的数据集和4个SNR不同条件的数据集。每个数据集由每种结构的2100个子断层图对组成（共10500对）。每个数据集的5000个对用于训练，500个用于验证。剩下的5000个用来测试。对于一对子断层图，一个结构是另一个结构的随机变换副本，两个结构分别进行独立处理，以获得其层析图像失真。其中一个有缺失楔（30°）而另一个没有。
对比的方法（baseline）：
- H-T align
- F&A align
消融实验：
- Gum-Net Max Pooling (Gum-Net MP)
- Gum-Net Average Pooling(Gum-Net AP)
- Gum-Net Single Correction(Gum-Net SC)
除了对比了alignment的结果，还进一步做了平均的对比实验。（非参数无参考自断层平均）
Tips
A u t h o r : 在 调 研 新 方 向 的 c h i e r Author: 在调研新方向的chier Author:在调研新方向的chier
