Waymo研发经理|自动驾驶感知前沿技术介绍
这是Waymo研发经理（三维物体检测算法VoxelNet作者）的一个最新报告分享：《自动驾驶感知前沿技术介绍》。在这次分享里，作者主要介绍了Waymo在自动驾驶感知中五个研究方向的最新成果。
1. Overview of the autonomous driving system
首先是无人驾驶系统的介绍，作者以Waymo第四代无人车系统为例。输入为各种感知系统（视觉、激光雷达、毫米波雷达系统以及提前收集好的地图等），通过模块化算法或端到端处理（如深度学习），输出为无人车控制命令（包括方向盘转角和汽车加速度）。
下图为主流的无人车模块化设计。输入模块为采集好的地图和各种传感器信号；定位模块根据地图和传感器信号给出当前无人车所在位置；感知模块根据定位模块输出、传感器信号和地图信息进行感知处理，然后将感知结果发送给行为预测（BP）模块，最后规划模块根据感知、行为预测以及定位结果给出汽车的控制命令，控制模块执行控制命令。
2. Introduction to perception
下图是感知模块介绍，感知模块输入为传感器数据（摄像头、激光雷达、毫米波雷达）和高精地图，输出为环境的表征。
下图是自动驾驶环境感知中六个主要研究方向：目标检测和追踪（根据激光雷达点云数据估计目标的位置、大小和方向）；语义分割（给图像中每个像素分配一个类别）；Flow（估计图像中的像素和点云中的每个点下一时刻的运动）；深度估计（判断图像中每个像素的深度）；行人位置估计（估计行人运动，主要是行人关节运动估计）；高精度地图（根据各种传感器输入建立高精度地图）。
3. New frontiers in scalable perception
下图是感知中Scalability的五个方向：泛化能力（模型在不同天气、城市和长尾问题的泛化能力）；Quality；模型的计算效率（内存和计算速度上）；自动标注；仿真数据生成或数据压缩。其中Generalization，Quality，Computational Efficency属于车上模型，而Data Flexibility，Labeling Automation属于离线模型。
 |  |
下面作者将根据这五个方向介绍Waymo的最新研究成果。
Generalization
这是一篇通过语义点云生成的进行无监督域自适应3D物体检测论文。作者设计了一个SPG模块，可以根据物体的原始点云（即使在遮挡或雨天环境下）生成语义点云，复原物体形状；然后将原始点云与生成的语义点云融合得到增强点云，最后通过一个流行的3D物体检测器进行物体检测。无论是在target domain 还是 source domain，作者设计的SPG模块都极大的提高了3D物体检测器的检测性能。
下面是作者想要解决的问题，在雨天或遮挡情况下，点云质量下降很厉害，从而影响最终的检测结果。
 |  |  |
本文的核心思想是：在3D物体检测之前，还原物体形状。SPG模块主要做两件事：3D分割和前景形状还原。首先点云数据划分为一个个voxel，判断每个voxel是否属于前景voxel，然后则在每个前景voxel中生成语义点云，还原物体形状。
SPG的Pipeline如下图所示，实验发现，只要多增加5%的原始点云，就能多获得500%的前景点云。
下面是在Waymo Domain Adaptation Dataset 和 KITTI数据集上的测试结果。
 |  |
下面是是在遮挡，远距离物体或大物体上的可视化检测结果。
 |  |  |
Quality
