这是CVPR 2022 的一篇关于立体匹配泛化性的文章，根据自己理解做的笔记，如有错误，还请指正！
概述
????????这篇文章提出利用在大尺度数据集上训练的模型特征去解决域偏移，由于它具有多种图片风格。通过基于余弦相似度的代价体作为桥梁，将这些特征嫁接到普通的代价聚合模块中。虽然这种低级特征具有广谱性，但它包含了大量的一般信息，不能用于立体匹配；因此在计算代价之前，使用了一个浅层网络将这些嫁接特征转换成能涵盖更多任务明确的信息。
????????本文提出一个问题：能否将普通立体匹配网络(普通方法是用合成数据训练)的特征提取模块替换为广谱特征(即在大规模数据集上训练的模型的特征)来实现目标?
为了解耦特征提取模块和代价聚合模块，构建一个泛化代价空间是很有必要的。
代价体既需要包含纯粹的相似信息，也要丢弃掉由于不同领域的语义类不同而可能干扰代价聚合的语义信息。
广谱特征： 由诸如ResNet，VGG等经典结构在ImageNet上训练的特征。
方法
1.广谱特征
? ? ? ? 特征表示对模型的泛化能力起着至关重要的作用。使用广谱特征来达到域泛化立体匹配的目的，而立体匹配网络的另一个参数化部分，代价聚合模块，只能用合成数据进行训练。
文中提出了使用余弦相似度来构建代价体，它有三个优点：
1）消除了易受域偏移影响的语义信息，在代价体中产生了具有纯相似性信息；
2）归一化保证了代价值的数值稳定性，有利于跨域评价性能。
3)具有任意通道的特征可以作为输入，因为它们都将被投影到一个标量上。
2.面向任务特征
?????????虽然域偏移的影响被广谱特征所削弱，但简单的嫁接操作是不明智的。原因是该特性是相对低级的，包含许多用于各种下游任务的一般信息。因此，有必要针对立体匹配任务提取更多的信息。
特征适配器
在计算代价之前，使用一个浅层的U形网络作为一个特征适配器将嫁接特征转换成能涵盖更多任务明确的信息。
虽然这个训练过程是在源域上进行的，但特征适配器在目标域上是有效的，原因有二:
1)它的输入是一个广谱表示，会减弱图像风格的影响。
2)参数量小，降低了过拟合的风险。
文中还提到利用特征适配器输出的广谱和面向任务的特征，再训练代价聚合模块可以进一步提高性能。而且特征适配器与代价聚合模块联合训练不如单独训练有效。
