标题：LASR: Learning Articulated Shape Reconstruction from a Monocular Video
链接：https://arxiv.org/pdf/2105.02976
本文做的是基于视频的3D重建。特色之处在于不需要初始模板，而是直接从一个球形来拟合最终形状。
模型结构
与其他模型一样，作者也是将3D重建分解为三个部分，即形状预测，动作预测，相机参数预测。
动作预测
首先假设我们已经有了3D物体模型，那怎么让这个物体随着视频动起来呢？最简单的方案就是每帧都对每个顶点预测一个位移量，但是这样计算量太大。因此作者使用LBS来表达物体的动作，即将所有的顶点都绑定到某几个骨骼上，通过骨骼运动带动顶点运动。
但使用LBS的时候还有一个问题就是每个顶点针对骨骼点都有一个蒙皮权重，这个计算量仍然很大。因此作者将模型的蒙皮权重拟合到一个混合高斯分布中去，通过控制混合高斯分布的均值方差来控制整个权重的分布。作者说这有助于进一步减少计算量和平滑运动动作。这里每个高斯分布的均值都是由k-means聚类获得的。
形状&相机预测
由于作者不使用人工模板做初始化，因此针对每个视频的初始模板都是一个球。这里作者通过剪影损失，光流损失，纹理损失和感知损失分别优化形状的重建。值得一提的是，不同于之前的模型直接优化3D模型的参数，这里作者使用了resnet18来拟合从图像到参数的这个过程，来增强其泛化性。
剪影损失：图像的剪影标注与物体的渲染结果算L2损失
光流损失：针对邻近的两帧，使用光流检测器检测视频中的光流，再检测两帧模型渲染结果之间的光流，计算两个光流间的L2损失
纹理损失：直接在像素颜色层面上约束图像与渲染结果
感知损失：类似于纹理损失，只是这里比较的是alexnet提取出的特征。
平滑先验：使用laplacian对网格表面做平滑约束
ARAP约束：要求形变时保留局部细节
形变约束：要求形变量越小越好
弱对称约束：要求顶点和骨骼点沿着对称面两边尽量一致
最后，在形变时作者还参考point2mesh，使用了从粗糙到精细的重建方案，在重建过程中顶点数和骨骼数都会一步步增多。具体效果如下图所示
