FiG-NeRF: Figure-Ground Neural Radiance Fields for 3D Object Category
内容速览
- 我们研究了使用神经辐射场(NeRF)从输入图像集合中学习高质量的3D对象类别模型。
- 我们可以同时将前景对象从不同的背景中分离出来。
FiG-NeRF
- 一个2组分NeRF模型。
- 将场景解释为一个几何上恒定的背景和一个代表对象类别的可变形前景。
- 只使用光学监督和随意捕捉的物体图像就能学习准确的3D物体类别模型
- 我们的2-part分解允许模型执行准确和清晰的模态分割
- 我们提出Fig-NeRF, 它使用两个NeRF模型分别对对象和背景进行建模
- 我们采用一个由可变形的前景模型[28]和具有固定几何形状和可变外观的背景模型组成的二分量模型， 来分离目标（figure） 和背景（ground）。
Contributions
- 我们联合估计对象类别模型，同时从他们的背景分离对象，使用的是一个创新的2-component的变形NeRF
- 我们在新视图合成和实例插值中的结果在合成和真实图像数据集上都优于基线，如不可变形的NeRF变体和SRNs[34]。
- 我们使用Objectron数据集[2]演示如何在in-the-wild和不同背景下学习对象类别模型。
我们的方法是第一个联合估计详细的对象类别模型与背景变量和视相关的外观，而没有求助于轮廓或2D分割预测。
- FiG-NeRF由前景和背景模型组成。
- 蓝色为前景模型，其中包括变形场和模板NeRF，红色为背景NeRF。
方法
Setup
数据集表示为：
- 假设我们有相机姿势和内在的每个图像
- 这可以通过标准的结构从运动(SfM)软件，如[30]，或通过在捕捉过程中运行视觉里程计来获得
具体的设置如图2所示。
2 Preliminaries
NeRF的缺点：它只学习模拟一个场景。
以前的工作已经引入了条件反射输入潜在码来建模对象类别[31]和场景的不同外观[21]。 我们称这种模型为conditional NeRFs。
3 目标和背景分割
我们提出了一个模型，学习分割的场景为包含感兴趣的对象的前景组件，和在无监督方式下的背景组件。 二者都已Conditional NeRF 建模。
更正式地说，我们的模型是由条件NeRF模型组成的：
颜色的计算：
4 Objects as Deformed Template NeRFs
我们得到的前景对象模型是一个条件NeRF，它采用以下形式：
图3显示了我们完整的网络架构。
5 损失函数
光度损失
为了确保我们的背景模型学习到适当的背景几何，我们对背景应用相同的损失：
Separation Regularization
我们考虑沿射线的累积前景密度：
其中
我们用一个beta先验损失函数来抑制它们：
Deformation Regularization
我们在残差平移上应用一个简单的L2损失来惩罚任意大的变形：
总体损失：
结果
