1 代码环境部署

conda create -n torch16cu101 python=3.7
conda activate torch16cu101
pip install torch==1.6.0+cu101 torchvision==0.7.0+cu101 -f https://download.pytorch.org/whl/torch_stable.html
pip install tqdm
git clone https://github.com/yehx1/Pointnet_Pointnet2_pytorch.git
cd Pointnet_Pointnet2_pytorch
python train_classification.py --model pointnet2_cls_ssg --log_dir pointnet2_cls_ssg

2 数据介绍

?????????以Pointnet的modelnet40为例，其点云文件中含有x、y、z、normal_x、normal_y、normal_z，前三个为坐标，后三个为法向量。关于txt存储的点云文件格式请参考点云格式介绍（三）_Coding的叶子的博客-CSDN博客。样例文件下载地址：modelnet40点云样例数据-深度学习文档类资源-CSDN下载。

? ? ? ? 解压后文件主要包含：

? ? ? ? （1）各个类别的点云，每个点云文件共有10000个点。分别存储在以类别名称命名的为文件夹中，共40个类别的文件夹。

? ? ? ? （2）filelist.txt中列举了全部点云文件的文件名，共12311个点云文件。

? ? ? ? （3）modelnet40_train.txt中列举了用于训练的点云文件名，共9843个点云文件，占比80%。

? ? ? ? （4）modelnet40_test.txt中列举了用于测试的点云文件名，共2468个点云文件，占比20%。

? ? ? ? PointNet模型的输入为点云points和标签targets。其中，points的维度为Bx3xN，B为batch_size，3为点云坐标，N为点云个数。模型会通过截断或者最远点采样截取1024个点，即N=1024。points还会经过中心归一化和随机增强等操作。标签targets维度为Bx1，即各个类别对应的标签序号。

3 模型简介

? ? ? ? PointNet模型结构如下图所示。

? ? ? ? ?PointNet网络提取特征的各个步骤如下：

? ? ? ? （1）首先通过T-Net获取空间变换矩阵，空间变换矩阵实际是通过深度学习的方法学到一个仿射变换矩阵点云仿射变换—open3d python_Coding的叶子的博客-CSDN博客。其目的是让原始点云变换到一个更容易识别的空间位置或形状。对于3x1024（代码中n=1024）的点云，经过卷积conv1d(3,64)、conv1d(64,128)、conv1d(128,1024)，得到1024x1024个特征。前一个1024表示通道数量，后一个1024表示点的数量。然后在后一个1024做最大值池化，由于1024表示点的数量，那么最大值池化只与最大值有关，与顺序无关，从而符合点云的无序性特征。这样特征维度重新变为1024维，经过全连接层FC(1024, 512)、FC(512, 256)、FC(256, 9)，那么可以得到9个维度特征，并进一步reshape成3x3的矩阵并加上单位矩阵，从而得到所需要的空间变换矩阵。输入3x1024个点与空间变换矩阵相乘便得到图中input transform的输出，维度仍然为3x1024。

? ? ? ? （2）（1）中输出3x1024经过卷积conv1d(3, 64)得到64x1024的特征。类似（1）中的过程，我们对特征空间也进行空间变换。，经过卷积conv1d(64,64)、conv1d(64,128)、conv1d(128,1024)，得到1024x1024个特征。前一个1024表示通道数量，后一个1024表示点的数量。然后在后一个1024做最大值池化，由于1024表示点的数量，那么最大值池化只与最大值有关，与顺序无关，从而符合点云的无序性特征。这样特征维度重新变为1024维，经过全连接层FC(1024, 512)、FC(512, 256)、FC(256, 1096)，那么可以得到4096个维度特征，并进一步reshape成64x64的矩阵并加上单位矩阵，从而得到所需要的空间变换矩阵。输入64x1024个特征点与空间变换矩阵相乘便得到图中feature?transform的输出，维度仍然为64x1024。

????????（3）（2）中输出64x1024经过卷积conv1d(64, 128)、conv1d(128, 1024)得到1024x1024的特征。前一个1024表示通道数量，后一个1024表示点的数量。然后在后一个1024做最大值池化，由于1024表示点的数量，那么最大值池化只与最大值有关，与顺序无关，从而符合点云的无序性特征。这样特征维度重新变为1024维，即上图中的global feature。

? ? ? ?（4）（3）中输出1024维度特征经过FC(1024, 512)、FC(512, 256)、FC(256, 40)、log_softmaxt得到40维度的输出，即40个类别log softmax，即图中的output scores。