Self-Supervised 3D Human Pose Estimation via Part Guided Novel Image Synthesis
题目：《通过部分指定新型图像合成进行自监督的3D人体姿态估计》
作者：Jogendra Nath Kundu， Siddharth Seth1， arun Jampani2 Mugalodi Rakesh1 R. V enkatesh Babu1 Anirban Chakraborty
Indian Institute of Science, Bangalore 2Google Research
来源：CVPR 2020
研究方向：单目/多视角（后期提出）-单人姿态识别
已有研究困境：
? ? ? 现有研究多为在有监督情况下，对GT姿势注释的常用方法是经过良好校准的多摄像头，难以在室外进行配置，导致3D姿态数据集的多样性受限
改进：
? ? ?自监督学习框架：将消除（如姿态和外观）的变换，与未标记的视频帧区分开,可以在大规模野外视频中学习视频。
研究方法（思路）：
整体结构：
全卷积解码器体系输入?? ?
姿态条件?? ? ?
使用单个模型模板编码2D关节和零件部位关联
编码器网络：
输入图像得出①标准坐标系中视图不变的3D姿态
? ? ? ? ? ? ? ? ? ? ?②FG（前景）人体外观
? ? ? ? ? ? ? ? ? ? ?③摄像机参数
通过①③对零件遮挡建模实现零件分割；①对3D刚性（全局）和非刚性（部分）建模
解码器网络：
将上述结果投影至2D上(生成局部3D矢量，根据3D姿态节约约束条件一系列变换)，合并成FG人体外观+2D部分分割
实现细节：
①关节锚定的空间零件表示过程：
? ? ? ?先使用带监督的锚框提取2D姿态关键部位
? ? ?(从单个手动注释的模板中提取2D关节相对对身体部位关联，从而可以变换任何人的pose+保持完整的锚定关节关联)
②对零件部件的规范:对2D pose零件部分进行高斯模糊处理
? ? ? ? ? ? ? ? ? ? ? ? 👇提取2D pose
? ? 零件变形模型：标准部位图(零件图)，进行旋转、平移、缩放，局部姿态图
? ? ? ? ? ? ? ? ? ? ? ? ?👇由①2D骨架姿态②零件形状信息③零件空间遮挡知识得出2D零件分割
? ?过程：通过访问相应的3D姿态表示相机转换：提取①③，可以深度感知零件并细分，了解局部pose强度
? ? ? ? ? ? ? ? ? ? ? ? ?👇自监督的姿态网络
? 分为：
? ? ? ? 编码器网络：定义规范坐标系，递归正向运动学变换，局部肢体矢量
? ? ? ? 输出：摄像机的外部特性C（3个旋转+3个受限平移），固定透视摄像机投影用于获得最终2D姿态
? ? ? ?解码器网络：输入FG人体外观+2D姿态变形后
? ? ? ?输出：重构图像（完全不同BG的图像对）+预测零件分割图
③自监督训练目标：形成具有一致pose（用于姿态和外观信息）的成对输入图像
数据集：对于LSP数据集、YouTube视频和本论文自采集数据