[人工智能]论文笔记：[CVPR 2019]RS-CNN: Relation-Shape Convolutional Neural Network for Point Cloud Analysis

[CVPR 2019] RS-CNN：Relation-Shape Convolutional Neural Network for Point Cloud Analysis. [pytorch] [cls. seg. oth.] 🔥

1、四个问题

1. 要解决什么问题？
   • 点云中潜在的局部形状难捕捉。
2. 用了什么方法解决？
   • 提出了一个卷积算子，称为：relation-shape convolution，能够显式编码点的几何关系，因此具有形状感知和鲁棒性（对刚体变换如旋转和平移）。
   • 在此基础上提出了RS-CNN网络，将2D CNN扩展到 点云上。
3. 效果如何？
   • 在3个任务上取得 state of the arts（Shape classification， Shape part segmentation， Normal estimation）
4. 还存在什么问题？
   • ？

2、 论文概述

2.1、 Relation-Shape Convolution

一个通用的卷积算子可以表示为：
其中的参数解释：x是3D点，f是特征向量，dij是欧式距离，T用来提取局部点的特征，A是聚合函数，A和T共同保证点云的置换不变性

具体在RS-Conv来说， T又可表示如下：

hij是根据先验知识定义的,抽取低层次的特征(文章后面也探讨了h不同选取有什么影响)，M是MLP，抽取高层次的特征（MLP能够拟合任意连续函数）

For geometric priors, one can use 3D Euclidean distance as an intuitive description of low-level relation hij

The goal of mapping M is to abstract high-level relation expression between two points, which can encode their spatial layout. Here we implementMwith a shared multi-layer perceptron (MLP) due to its powerful mapping ability

最终的公式为：

这样就能对空间特征进行显式建模，有形状感知能力？

this convolutional representation, with all the relation between xi and N (xi) aggregated, can achieve explicit reasoning about the spatial layout of points, thus resulting in discriminative shape awareness.

Channel-raising mapping：

仿照CNN通道维数变高，使用MLP对$f_{P_{sub}}$进行升维。

2.2、 RS-CNN

3、 参考资料

论文原文：http://export.arxiv.org/pdf/1904.07601

【3D计算机视觉】RS-CNN——基于邻域集合关系推断的点云卷积神经网络

一个还不错的翻译