基本数据结构

在这里插入图片描述
abcd分别是：

点云（point cloud）：(x,y,z) ， (x,y,z,d), (x,y,z,r,g,b)
体素(Voxel): 体素是3D空间的像素(pixel)。量化的，大小固定的点云。每个单元都是固定大小和离散坐标。
多边形网格(Polygon meshes)：面
二维投影/多视（2D projection/multi-view）
下面是一张体素的图。

任务

upsampling,
reconstruction,
segmentation
object detection ，
Shape Completion：单个物体，缺损部分的补全。
Scene Completion：场景中的物体之间有遮挡，缺失部分补全。
Instance Reconstruction：实例构面。
在这里插入图片描述

粒度的区分：（2D为例）

这里以2D图像为例，3D的和它类似。（因为本人没有2D基础，所以这里也列举一下）
abcd分别是：

classification：整个数据给出个分类。
object localization (detection) ：给出特定目标的bounding box （和分类标签）
semantic segmentation: 语义级分割。label each pixel in the image with a category.（把每一个像素点都分为一个类别）
instance segmentation：语义级分割的基础上，区分每个instance。（连在一起的东西给出清晰的边界。比如两只羊连在一起，语义分割给不出边界，只知道这些像素都是羊，无法区分不同的羊）

挑战

不规则性：分布不均
非结构化：点与点之间的关系，没有确定的四邻域，八邻域
无序性：点的顺序不同完全不影响。因此不同的三维矩阵表达可以是相同的点云。
旋转性：如果点云整体旋转，每个点坐标都会变，但点云是不变的。
在这里插入图片描述

常用方法和思路

基于体素的点云深度学习：

常用CNN方法。
在这里插入图片描述

基于多视

直接用2D的CNN方法。
性能很好（高于体素）
在这里插入图片描述

点云深度学习

point net

发布于2017年的PointNet是大多数技术的基础。

max pooling & transform

无序性问题：用一个对称方法g来解决
在这里插入图片描述
h: 特征提取层
g：简单的对称方法。如max pooling.
γ：高层特征提取
最后加一个softmax之类用于分类。

旋转性问题：通过STN（spacial transform netw）来解决。

网络结构

input transform: 上文提到的STN空间转换
mlp: 多层感知机，通常指几个全连接层。括号里是输出的维度。（这里的mlp实际使用2d卷积实现的。括号里似乎是每个卷积层的channel深度）
在这里插入图片描述

mlp的具体实现：

在这里插入图片描述
待续

待看文献：

https://blog.csdn.net/xnliu/article/details/82747308

https://blog.csdn.net/u013019296/article/details/108526109?utm_medium=distribute.pc_relevant.none-task-blog-2_defaultbaidujs_baidulandingword~default-1.control&spm=1001.2101.3001.4242

https://blog.csdn.net/bornfree5511/article/details/109901196