Self-supervised Learning of Depth Inference for Multi-view Stereo (CVPR2021)

代码地址：Github: https://github.com/JiayuYANG/Self-supervised-CVP-MVSNet

Self-sup CVP-MVSNet简介

尽管近年来基于深度学习的多视图立体匹配（Multi-view Stereo, MVS）取得了显著的进展，但是这些方法通常依赖于大量标注的数据，然而多视图深度估计的真值标签数据获取是比较具有挑战性的。因此文本提出一种适用于多视图立体匹配的自监督学习框架，此框架采用了两阶段的训练策略。具体地，第一阶段基于图像重建损失进行网络模型的无监督学习，第二阶段是基于伪标签的自监督学习，生成的伪标签是通过多视图深度估计进行融合得到的。实验结果表明，Self-sup. CVP-MVSNet在无监督学习方法中的重建性能最好，并取得了与有监督方法性能相当的重建效果。

预备知识1: CVP-MVSNet网络回顾

Cost Volume Pyramid Based Depth Inference for Multi-view Stereo (CVPR2020)

图1 CVP-MVSNet