1. 概要

所述期刊会议：TPAMI顶刊2021年，仅8页内容
代码：https://github.com/ShiQiu0419/pnp-3d

2. 动机

提供一个即插即用的增强特征表达模块，增强现有点云分析网络的有效性，本质就是

提供一个具有可增强现有网络且轻便的特征表达，具有通用性。
增强性：局部几何&特征信息（着重在几何关联性上）
轻便性：全局双边正则化（类似attention的剪枝版本）
通用性：点云分类、点云语义分割、物体检测

下图是一个直观的效果
在这里插入图片描述

3. 方法

下面是提出方法的网络架构，主要就是包括两部分：局部内容融合+全局双边正则化
在这里插入图片描述

3.1 局部内容融合

目的：基于3D空间几何关联性来融合局部几何和特征内容
做法：分了两个分支，对局部几何和特征内容分别进行关联性编码，最后拼接。

3.1.1 局部几何分支：

目的：位置的编码可以提供一定的顺序的信息；
在这里插入图片描述
这个过程当中，包括三步骤：

使用DGCNN （EdgeConv）生成最近邻KNN，
如下公式所示，任一点 $p_i$ 的K个近邻表示为 $\mathcal{N}(p_i)$
构建局部几何图
该步骤就是所提方法的核心所在，针对每个点 $p_i$ ，其局部几何图包括了其本身以及其与其近邻的差异 $p_{i_k}-p_i$ ，因此整体就表示为 $p_i;p_{i_k}-p_i]$ ，因为包含两个部分，每个部分是3通道，加上有k个近邻，一共就是kx6维度的信息输入；
然后所有点的全局几何图就表示为 $\mathcal{\tilde{P}}$ 。
编码几何图
这里就是类似常规PointNet操作了，对于 $\mathcal{\tilde{P}}$ 进行1x1大小的MLP+BN+ReLu后，再经过maxpooling获取最大的那个来表示整体的局部的几何信息；

3.1.2 特征内容分支：

在这里插入图片描述

目的：提取特征
这里其实和3.1.1是一样的步骤，唯一的区别就是这里是针对特征做的，而上面是针对点做的。所以直接列公式了：
MLP是与上面3.1.1共享的。
在这里插入图片描述

3.1.3 聚合

融合几何3.1.1与特征内容3.1.2的信息在一起。
在这里插入图片描述

在这里插入图片描述

3.1.4 代码实现

定义：
在这里插入图片描述
实现：

3.2 全局双边正则化

目的：增强特征表达性。
做法：先分为基于点的和基于通道的特征信息，然后进行正则化聚合，形成最后的表达。
在这里插入图片描述

3.2.1 基于通道的信息（channel-wise）

在这里插入图片描述
本质就是学习特征对于每个通道的权重，然后用平均结果表示，公式如下：
其实和attetention效果基本一致，唯一的区别在于这里没有用到所有通道，而是用了 $\frac{C}{r}$ 个通道。这里 $r > 2$ ，是一个reduction因子，主要就是为了削减输出维度，在实验当中使用了8，因为这样减少了计算量，所以比attention要轻便很多。具体操作也是：1. 先矩阵相乘；2. RELU激活；3. 平均池化求解，得到 $g_c$ 。

公式解析：这里的 $\mathbf{W_c}$ 就是一个权值矩阵，ReLu的作用一个是提供非线性的作用，另一个就是满足输出是非负的，这个要求来自公式（6）。其实呢，也就是用来一个1维卷积，输入是 $\mathcal{F}_L$ ，输出是 $\mathcal{F}_L\mathbf{W}_c$ ，涉及到的仅仅是维度的变化。
在这里插入图片描述

3.2.2 基于点的信息（point-wise）

在这里插入图片描述

操作与基于通道的一致，直接列公式：
在这里插入图片描述

3.2.3 聚合

在这里插入图片描述

这里用到了 1. 先进行外积操作；然后2. 求平方根，如公式（6）所示；
然后由公式（8）得到 $\mathcal{F}_G$ 的表达；
最后的输出是公式（9），其的含义在：
在这里插入图片描述
公式（8）：这是参考[42]，加入了两个链接。
公式（9）：需要更加具有区分性和代表性的特征输出，而公式（8）由于是从平均值中得到的，其表示了通常模式，可以被滤掉。因此最终的输出特征是过滤掉常用模式的具有区分性的特征图。