[人工智能] Apollo-感知介绍2*

课程习题：简单总结一下两个检测算法：启发式的Ncut和深度学习算法CNNSeg

感知算法

在这里插入图片描述

在这里插入图片描述

启发到头，就需要数据驱动（机器学习）——CNNseg

在这里插入图片描述
确定一个方向，收集大量的数据，将市面上主流的方法进行组合，做一个精密的实验，最后得到一些结果。

在这里插入图片描述

ADAS：高级驾驶辅助系统（是辅助驾驶，而非自动驾驶）

环视：比如变道需要知道后方以及两边的情况

无人驾驶（AD）里的检测和计算机视觉（CV）里的检测是不同的

环境不一样。无人驾驶的相机是固定在车上的，所拍摄的环境是有一定规律性的；而CV中的相片（比如手机拍摄）可以很近也可以很远，也可以是在各种各样的环境
任务不一样。AD中的检测模块承担更多角色，不仅仅是画个2D框标注个类别就完了，还需要输出一些3D信息，比如障碍物尺寸（因为障碍物并非不可穷举，并且它有着内在规律）、朝向，并且AD上的图像是连续的，框不能抖动太大，需要连贯，因此当前帧的检测还需要历史帧的信息，并加入一些持续性、稳定性的特征进行学习。【具体如下图】

在这里插入图片描述

检测得到2D结果，转化为3D信息，并且进行时许跟踪

局部end-to-end，相对于全局end-to-end（输入是传感器的数据，输出是对油门刹车方向盘的控制），会更方便debug（将一个东西模块化，出现问题方便debug）
在这里插入图片描述

挑战：一个视野只能用一个model来做（这个model包含了对视野中各种物体的检测），但各种物体的数据可能会很不均匀，而且并不是所有有标注的图片里，都有对所有物体的标注，如何进行训练是一个问题。可能一个model team里有很多人，每个人做不同feature的训练，最终如何融合也是一个问题。

分割和检测是对问题不同力度的需要。

比如规则的物体，我们可以用bouding box框住，但如果是一些不规则的物体（比如柳条或者弯曲的大树枝）用bouding box可能就会框住大量的背景信息，从而我们需要用分割的方法来刻画出这些不规则物体的边缘。

两者算是detection（检测是bouding box的detection，而分割是点的detection）

“3D往2D里投”
3D：点云信息知道距离，但不知道是啥
2D：知道都有啥但不知道具体多远
前者往后者投影，两相结合

障碍物的互补问题
非结构化道路和结构化道路

基于检测：
检测出车道线的点，把点连成线，车道线被遮挡让机器学会“脑补”

在这里插入图片描述

2D - TO - 3D的几何计算
车辆在行驶过程中，相机的角度是会不断变化的，我们需要实时估计

接地点：
在这里插入图片描述
假如地面水平，相机水平，可以用上面的相似三角形计算前方距离

2D框、绝对尺寸（一般高度不会有遮挡）

稳定性：误差变化不能太大

帧率不能太低

跟踪：必须轻量化，延时不能高

在这里插入图片描述
红绿灯的制式千奇百怪

影响因素：标定、地图（有时候地图会标错）等

Radar
在这里插入图片描述

在这里插入图片描述

延迟不能高
corner case：极端情况
如何避免？
比如一辆车在校园里开，采集很多年的数据，那么也有信心让他在校园里自由地开。
（在一个有限的环境里开，基于大量这个环境的数据）
可解释性：“不能说出了问题但不知道问题出在哪” “可解释性让用户心里也有个底，让用户能够信任”
启发式与模型相结合、有些东西不需要用模型来学，也学不好；
“目前的系统只是在做预测，而人不仅在做预测，同时也在学习”，希望以后的人工智能可以同时在做学习和推理