摘要

论文中提出一种轻量化的定位方案（light-weight localization soluation），依赖于低成本的相机以及紧凑的视觉语义地图（compact visual semantic map）。该语义地图能够被多传感器的车辆以众包（crowd-sourced）的方式创建及更新。特别的，该语义地图包含几个语义元素：车道线（lane line），人行横道（crosswalk），ground sign （地标）and stop line（停止线）。引入了车载建图（on-vehicle mapping），云端维护（on-cloud maintenance）以及用户端使用的整体框架。建图数据通过车辆采集及预处理。然后，众包数据上传至云端。多个车辆收集的众包数据在云端融合以能够实时更新语义地图。最后，语义地图被压缩并分发至量产车，用于定位。在真实的环境下验证提出的地图的性能，并对比其他的算法。语义地图的平均大小是36kb/km。必须指出，该框架是自动驾驶领域可靠并实际可行的定位方案。

The contribution of the paper:

1> 提出一种新框架，用于自动驾驶任务的轻量化localization，包括on-vehicle mapping，on-cloud map maintenance, and user-end localization;
2> 提出用多传感器的车辆来助力低成本的量产车，多传感器的（sensor-rich）车辆每天收集数据并自动更新建图。
3> 进行真实环境的实验来验证提出系统的可靠性。

整体框架

三个部分：

on-vehicle mapping.车辆配置有前置摄像头（front-view camera），RTK-GPS，导航传感器（IMU+车轮编码器）。这些车辆每天可以收集大量的实时数据。通过分割网络提取前置图像的语义特征。然后将语义特征映射到基于优化后的车辆位姿的世界坐标系下。局部语义地图在车辆上建立，并上传云端。
on-cloud mapping。云端收集多个车辆的局部地图。将局部地图融合为全局地图。全局地图通过contour extraction压缩，将压缩后的语义地图发放给用户端。
end-user localization。用户端是装有低成本传感器（相机、低精度的GPS，IMU和车轮编码器）的量产车。用户端云端下载地图后解码。语义特征通过前端图像的语义分割获得。车辆通过语义特征匹配定位。

on-vehicle mapping

a.image segmentation

利用卷积网络的方法进行场景分割。将前置图像分割为多类：ground,lane line, stop line, road marker（路标）, curb（路边）, vehicle, bike and human. ground,lane line, stop line, road marker用于语义地图。其他的类用于自动驾驶的其他任务。语义分割的结果

b.inversee perspective transformation(逆透视变换)

分割后，语义像素从图像平面被逆投影到地平面。也称为IPM(inverse perspective mapping)。相机内参以及从相机到车辆中心的外参转换离线校准。由于透视误差的存在，场景越远，误差越大。只选择在ROI(region of interest)的像素，即靠近相机中心。ROI是车辆前边的一个12m*8m的一个矩形区域。假设地面是一个平面，建立映射模型。【坐标转换】

c.pose graph optimization

为构建地图，需要准确的车辆位姿，而RTK-GNSS不能保证一直是可靠的位姿。RTK-GNSS在空旷位置能提供厘米级的定位，但是在城市会被高楼阻挡信号。IMU和wheel在GNSS被阻挡的区域能够提供里程计。但里程计时间长了有累加漂移。因此，提出了pose graph optimization.
[一个求最小值的优化公式]

d.local mapping

pose graph optimization提供可靠的每一时刻的车辆位姿。在i帧捕获的语义特征基于优化后的位姿从车辆坐标系映射到全局坐标系。对于图像分割，每个点包含一个类别标签。每个点代表世界坐标系下的一小块区域。当车辆运行时，能够多次观测到同一个区域。由于分割噪声，这一区域可能被分类为不同的类别，为解决这一问题，使用统计学来过滤噪声。将map划分为小的栅格，分辨率是0.10.10.1m，每个栅格包括位置，语义标签，以及每个语义标签计数（count of each semantic label）。初始时，每个标签的得分是0。当一个语义点插入栅格，对应的标签得分加1.因此，最高得分的语义标签代表了栅格的类。通过这种方法，语义图更准确并且对分割噪声更鲁棒。

on-cloud mapping

a. map merging / updating

点云图用于合并多辆车捕获的大量的数据。及时合并局部地图能够实时更新全局语义地图。为节省带宽，只有局部地图被占用的栅格被上传云端。和车载建图过程一样，也将云端的语义图划分为分辨率0.10.10.1m。根据位置，将局部图的栅格添加到全局图上。相应的，局部图的栅格的得分被添加到对应的全局图的栅格上。这一过程并行进行。最终，得分最高的栅格标签代表栅格的label是什么。

b.map compression

云端构建的语义地图会用于大量的量产车的定位。然而，量产车的传输带宽和板载存储很小。因此，云端进一步压缩这一语义地图。语义地图能够用轮廓有效表示，因此，用轮廓提取器压缩地图。
首先，产生语义地图的俯视图（top view image）。每一个像素代表一个栅格。第二，提取每一个语义组的轮廓。最终，保留轮廓点并分给量产车。

user-end localization

a. map decompression

用户端接收到压缩后的地图后，通过轮廓点解压缩。用相同的语义标签填充轮廓内的点。然后，将每一个带有标签的点从图像坐标系恢复到世界坐标系。

b. ICP localization

语义图用于定位。相似与建图过程，通过前视角的图像分割获得语义点，并映射到车辆坐标系下。车辆当前的位姿通过匹配当前特征点和地图估计。ICP法估计位姿。后端采用EKF框架，融合视觉定位方法和里程计方法。该方法不仅增加了定位鲁棒性也光滑了被估计的轨迹。

expeeriment results

a. map production

The overall length of the road network in this area was 22
KM. The whole size of the raw semantic map was 16:7 MB.
The size of the compressed semantic map was 0:786 MB.
The average size of the compressed semantic map was 36
KB/KM.
<车道线更改后，语义地图在不断的更新，并最终成为更改后的车道线>

b.localization accuracy

RTK GPS的值为真值。对于自动驾驶任务，在x，y方向的定位准确度比较重要，以及yaw(heading) angle.

知识点扩展

robo-taxi 自动驾驶出租车
高精度sensors–Lidar and PTK GPS

论文中可能用到的语句

[1] Specifically, the map consists of several semantic elements,such as …
[2] However, due to the segmentation noise, this area may be classified into different classes. To overcome this problem, we use statistics to filter noise.
[3] However, the transmission…(缺点)。 To this end, the semantic map is … Since the semantic map can be efficiently presented by the contour, we …