[人工智能]二十八. 智能驾驶笔记之基于PointNet++的三维点云分类和语义分割

第一部分 基于三维点云的分类和语义分割介绍

第二部分 PointNet和PointNet++

第三部分 PointNet++源码实现和分析

第一部分 基于三维点云的分类和语义分割介绍

????????基于二维图像的神经网络技术已经非常成熟, 扩展的基于三维点云的神经网络, 这不同于二维的分类和分割(二维边界框), 三维点云分类检测的主要任务是: 识别出目标物体的种类信息; 三维点云语义分割的主要任务是: 区分出不同种类不同各个的物体, 同时确定三维边界框,包括3维位置信息, 目标朝向等信息.

????????对于二维的图像数据,其像素点在数据中分布是有序的, 可以方便地通过(x,y)坐标对齐索引等操作. 而对于三维点云,首先其数据存储方式就是无序的, 因此在使用神经网络对点云数据处理之前,需要对点云数据进行处理,使其有序化.

目前,针对三维点云数据的深度学习有四个方向:

1. 体素网格(Voxel Grid)法:

将无序的三维点云划分为有空间依赖关系的有序的体素网格(Voxel Grid). 比如: VoxelNet. 这种方法的精度依赖于体素网格的跟分割精度, 分割精度提高,带来的就是计算量的增加,且分割效果一般, 现在已经很少使用.

2.基于点云的多视角投影(Multi-view):

? ? ? ? 其原理就是将三维任务转换为已经十分成熟的二维任务. 基本过程是:? 从特定角度,如: 前视图(Front-view),鸟瞰图(Bird-view),将点云数据投射到响应的二维平面上; 再将多视图下的二维图像组合为三维物体.? 也可以通过相机和Lidar联合标定获取和融合RGB图像信息后再进一步提取特征.如YOLO三维, 以及基于多传感器前融合技术方法的MV3D.

3.直接基于点云的点云网络(PointNet):

? ? ? ? 该类方法直接在点云进行深度学习, 典型的如本文介绍的PointNet/PointNet++,?PolarNet,?百度的CNN_SEG,PointPillars及其改进版Apollo7.0中的Mask-Pillars.

4. 基于深度学习的二维图像与三维点云融合:

? ? ? ? 基于深度学习的多传感器前融合技术, 如: F-PointNet.

第二部分 PointNet和PointNet++

未完待续...

第三部分 PointNet++源码实现和分析

未完待续...