一、多传感器融合需要面对的问题
1、数据对准问题
先决条件：统一坐标系和时钟
目的是实现三同一不同：同一个目标在同一个时刻出现在不同类别的传感器的同一个世界坐标处
1.1 统一时钟：同步不同传感器的时间戳
（1）GPS时间戳的时间同步方法
需要看传感的硬件是否支持
存在问题：不同传感器的数据频率是不同的
（2）硬同步方法
以激光雷达作为触发其它传感器的源头，当激光雷达转到某个角度时，才触发该角度的摄像头
（应该是以频率最低的传感器为触发，多为Lidar）
1.2 统一坐标系 ：运动补偿+传感器标定
（1）运动补偿
主要针对长周期的传感器，如lidar ，周期为100ms。 周期开始的时间点和结束时间点车辆是处于不同位置的，导致不同时刻采集的数据所处坐标系不同。
自动驾驶车拥有比较准确的实时定位信息，它可提供T和T+1两个时刻内，车本身的姿态差距，利用姿态差，可以比较容易补偿。因而比较容易解决
（2）传感器标定 : 分为内参标定和外参标定。
内参标定：解决单独的每个传感器与世界坐标系间的变换；
外参标定：在世界坐标系下，解决的不同传感器间的变换。注: 需要所有传感器单位统一
2、数据不确定性问题：
因为传感器的工作环境不同，可能受到外部环境雨雪、光线的影响，也可能受到内部的温度、电压影响，还可能出现路面颠簸等特殊情况 ，使得数据出现不准确的问题。
在数据融合过程中，如何通过算法来甄选出哪些是噪声数据，哪些是真实数据也是一个需要解决的问题。
二、各种传感器性能对比
1、摄像头?
摄像头分为前视、侧视、后视和内置
价格 从 2010 年的 300 多元持续走低，到 2014 年单个摄像头价格已降低至 200 元左右，易于普及应用。
分辨率 目前路面上图像传感器的分辨率已经达到1百万像素。在未来几年内，图像传感器的发展趋势将是2百万，甚至4百万像素。
功能 立体摄像机往往用于获取图像和距离信息； 交通标志摄像机用于交通标志的识别；
全景泊车系统 :
通过安装在车身周围的多个超广角摄像头，同时采集车辆四周的影像，经过图像处理单元矫正和拼接之后，形成一副车辆四周的全景俯视图，实时传送至中控台的显示设备上
2、毫米波雷达：ADAS 核心传感器
特点：
1）同厘米波导引头相比，毫米波导引头体积小、质量轻和空间分辨率高2）与红外、激光等光学导引头相比，毫米波导引头穿透雾、烟、灰尘的能力强，传输距离远，具有全天候全天时的特点；
3）性能稳定，不受目标物体形状、颜色等干扰。毫米波雷达很好的弥补了如红外、激光、超声波、 摄像头等其他传感器在车载应用中所不具备的使用场景。
探测距离一 般在 150m-250m 之间，高性能Radar能达到300m
功能 能够监测到大范围内车辆的运行情况，同时对于前方车辆的速度、加速度、距离等信息的探测也更加精准，因此是自适应巡航（ACC）、自动紧急刹车(AEB)
的首选传感器
价格 目前 77GHz 毫米波雷达系统单价大约在 250 欧元左右，高昂的价格限制了毫米波雷达的车载化应用。
安装 毫米波雷达一般安装在车辆的前保险杆里，用于测量相对于车辆坐标系下的物体，可以用来定位，测距，测速等等，容易受强反射物体的干扰，通常不用于静止物体的检测；
3、激光雷达
特点
1）分辨率高。可获得极高的角度、距离和速度分辨率，这意味着激光雷达可以利用多普勒成像技术获得非常清晰的图像。
2）精度高。激光直线传播、方向性好、光束非常窄，弥散性非常低。
3）抗有源干扰能力强。与微波、毫米波雷达易受自然界广泛存在的电磁波影响的情况不同，自然界中能对激光雷达起干扰作用的信号源不多。
功能 可以测量出周边其他车辆在三个方向上的距离、速度、加速度、角速度等信息，再结合 GPS
地图计算出车辆的位置，这些庞大丰富的数据信息传输给 ECU 分析处理后，以供车辆快速做出判断。
安装 三维激光雷达一般安装在车顶，使用红外激光束来获得物体的距离和位置，但是空间分辨率高，但是笨重，容易被天气影响。
4、精度指标
简单的传感器融合不外乎就是每个传感器的数据能大致在空间跟时间上能得到对齐。而整个多传感器融合技术的核心就在于高精度的时间以及空间同步。精度到什么量级呢？
时间上能得到10的-6次方，空间上能得到在一百米外3到5厘米的误差，这是一个典型的技术指标。
当然，多传感器同步技术的难度与时间和空间的要求是一个指数级的增加。在百米外能得到3cm的空间精度，换算成角度是0.015度左右。
三、多传感器融合体系结构：?
1、目标状态估计
在目标状态估计方面, 根据数据处理方法的不同, 多传感器信息融合系统的体系结构可以分为: 分布式、集中式和混合式
1.1 分布式
原理
先对各个独立传感器所获得的原始数据进行局部处理，然后再将结果送入信息融合中心进行智能优化组合来获得最终的结果。
优点：对通信带宽的需求低、 计算速度快、可靠性（在某一传感器失灵的情况下仍能继续工作）和延续性好
?缺点：对于传感器的计算能力有一定要求 ，信息的损失可能会大一些， 精度可能远没有集中式高 ，适用于远距离传感器信息反馈, 但在低通信带宽中传输会造成一定损失,
1.2 集中式。
将各传感器获得的原始数据不进行任何处理 直接送至中央处理器进行融合处理， 可以实现实时融合。
优点：没有信息损失，因而可以做最精准的判断，算法灵活，实时性好
缺点：缺少底层传感器之间的信息交流，并且 传输的都是原始图像和日志信息，数据量大， 对中央处理器的要求高，可靠性较低，故难以实现。
（这应该就是边沿计算诞生的原因之一吧）
1.3混合式。
混合式多传感器信息融合框架中，部分传感器采用集中式融合方式，剩余的传感器采用分布式融合方式。
?优点：有较强的适应能力，兼顾了集中式融合和分布式的优点，稳定性强。
缺点：结构比前两种融合方式的结构复杂，对结构设计要求高，加大了通信和计算上的代价。?
1.4 三种结构对比
2、 目标身份估计
在以目标身份估计为目的的体系结构下, 根据多传感器信息融合技术抽象程度的不同, 可以将其划分为3个层次: 像素级融合、特征级融合、决策级融合
2.1 像素级融合
将同类别的传感器采集的同类型原始数据进行融合, 最大可能地保持了各预处理阶段的细微信息
由于融合进行在数据的最底层, 计算量大且容易受不稳定性、不确定性因素的影响。同时, 数据融合精确到像素级的准确度, 因而无法处理异构数据。
2.2 特征级融合：分为目标状态信息融合和目标特性融合
各传感器的原始数据结合决策推理算法, 对信息进行分类、汇集和综合, 提取出具有充分表示量和统计量的属性特征
根据融合内容, 特征级融合又可以分为
1）目标状态信息融合：先进行数据配准以实现对状态和参数相关估计, 更加适用于目标跟踪。
2） 目标特性融合 ：借用传统模式识别技术, 在特征预处理的前提下进行分类组合。
2.3 决策级融合
处理不同类型的传感器对同一观测目标的原始数据, 并完成特征提取、分类判别, 生成初步结论, 然后根据决策对象的具体需求, 进行相关处理和高级决策判决, 获得简明的综合推断结果
实时性好、容错性高，面对一个或者部分传感器失效时, 仍能给出合理决策
2.4 三种融合体系结构的对比
四、多传感器融合算法
要求
由于信息具有多样性和复杂性，因此对信息融合算法的基本要求是具有鲁棒性和并行处理能力。其他要求还有算法的运算速度和精度；与前续预处理系统和后续信息识别系统的接口性能；与不同技术和方法的协调能力；对信息样本的要求等。
一般情况下，基于非线性的数学方法，如果具有容错性、自适应性、联想记忆和并行处理能力，则都可以用来作为融合方法。
原理
（1）多个不同类型传感器（有源或无源）收集观测目标的数据；
（2）对传感器的输出数据（离散或连续的时间函数数据、输出矢量、成像数据或一个直接的属性说明）进行特征提取的变换，提取代表观测数据的特征矢量Yi；
（3）对特征矢量Yi进行模式识别处理（如聚类算法、自适应神经网络或其他能将特征矢量Yi变换成目标属性判决的统计模式识别法等），完成各传感器关于目标的说明；
（4）将各传感器关于目标的说明数据按同一目标进行分组，即关联；
（5）利用融合算法将目标的各传感器数据进行合成，得到该目标的一致性解释与描述。
目前多传感器融合的理论方法有贝叶斯准则法、卡尔曼滤波法、D-S 证据理论法、模糊集理论法、人工神经网络法等
1、 分类1
1.1 基于物理模型
根据物理模型模拟观测结果, 并获取其与真实观测对象特征之间的相关性, 通过预先设置的系数阈值判断二者匹配程度。其中, 最主要的代表就是卡曼 (Kalman) 滤波技术（分为标准卡曼滤波、区间卡曼滤波和两阶段卡曼滤波）
能够动态、实时地融合低层次传感器数据, 依据系统的递推特性做出合理估计
适用于不同层次原始数据间的融合, 不需要系统强大的存储能力, 具有信息损失小的优点,
缺点是需要建立精确的观测对象模型, 数据需求量大, 适用范围比较窄。
1.2 基于参数分类技术
依照是否需要先验知识, 可以划分为有参技术与无参技术, 主要是从测量的数据中获取属性说明, 并与测量数据形成一种直接映射关系, 常用的该类算法有贝叶斯估计、人工神经网络等。
与卡曼滤波不同, 贝叶斯估计适用于静态环境。它利用条件概率组合多种传感器信息, 并且能够通过似然函数最小化方法, 将各单独传感器的关联概率联合成后验分布函数。
1.3 基于认知方法
以先验知识为基础, 需要深入了解观测目标的组成及内部关联结构, 根据原始数据或属性特征模仿人类的启发式推理过程, 做出判决, 以专家系统最为常用。
2、分类2
2.1 随机类：
（1）加权平均法
将一组传感器提供的冗余信息的加权平均作为结果。一种直接对数据源进行操作的最简单直观的方法。
（2）卡尔曼滤波法
主要用于融合低层次实时动态多传感器冗余数据。 如果系统具有线性动力学模型，且系统与传感器的误差符合高斯白噪声模型，则卡尔曼滤波将为融合数据提供唯一统计意义下的最优估计。
问题： ① 在组合信息大量冗余时，计算量将以滤波器维数的三次方剧增，实时性难以满足。② 传感器子系统的增加使故障概率增加，在某一系统出现故障而未被检测出时，故障会污染整个系统，可靠性降低。
（3）多贝叶斯估计法
将每一个传感器作为一个贝叶斯估计，把各单独物体的关联概率分布合成一个联合的后验概率分布函数，通过使联合分布函数的似然函数为最小，提供多传感器信息的最终融合值，融合信息与环境的一个先验模型以提供整个环境的一个特征描述。
（4）D-S证据推理法
该方法是贝叶斯推理的扩充，包含3个基本要点：基本概率赋值函数、信任函数和似然函数。
D-S方法的推理结构是自上而下的，分为三级：第一级为目标合成，其作用是把来自独立传感器的观测结果合成为一个总的输出结果（ID）；第二级为推断，其作用是获得传感器的观测结果并进行推断，将传感器观测结果扩展成目标报告。这种推理的基础是：一定的传感器报告以某种可信度在逻辑上会产生可信的某些目标报告；第三级为更新，各传感器一般都存在随机误差，因此在时间上充分独立地来自同一传感器的一组连续报告比任何单一报告更加可靠。所以在推理和多传感器合成之前，要先组合（更新）传感器的观测数据。
（5）产生式规则
采用符号表示目标特征和相应传感器信息之间的联系，与每一个规则相联系的置信因子表示它的不确定性程度。当在同一个逻辑推理过程中，2个或多个规则形成一个联合规则时，可以产生融合。应用产生式规则进行融合的主要问题是每个规则置信因子的定义与系统中其他规则的置信因子相关，如果系统中引入新的传感器，需要加入相应的附加规则。
2.2 人工智能类
（1）模糊逻辑推理
模糊逻辑是多值逻辑，通过指定一个0到1之间的实数表示真实度（相当于隐含算子的前提），允许将多个传感器信息融合过程中的不确定性直接表示在推理过程中。如果采用某种系统化的方法对融合过程中的不确定性进行推理建模，则可以产生一致性模糊推理。
与概率统计方法相比，逻辑推理存在许多优点，它在一定程度上克服了概率论所面临的问题，对信息的表示和处理更加接近人类的思维方式，一般比较适合于在高层次上的应用（如决策）。但是逻辑推理本身还不够成熟和系统化。此外由于逻辑推理对信息的描述存在很多的主观因素，所以信息的表示和处理缺乏客观性。
模糊集合理论对于数据融合的实际价值在于它外延到模糊逻辑，模糊逻辑是一种多值逻辑，隶属度可视为一个数据真值的不精确表示。在MSF过程中，存在的不确定性可以直接用模糊逻辑表示，然后使用多值逻辑推理，根据模糊集合理论的各种演算对各种命题进行合并，进而实现数据融合。
（2）人工神经网络法
神经网络具有很强的容错性以及自学习、自组织及自适应能力，能够模拟复杂的非线性映射。神经网络的这些特性和强大的非线性处理能力，恰好满足多传感器数据融合技术处理的要求。在多传感器系统中，各信息源所提供的环境信息都具有一定程度的不确定性，对这些不确定信息的融合过程实际上是一个不确定性推理过程。神经网络根据当前系统所接受的样本相似性确定分类标准，这种确定方法主要表现在网络的权值分布上，同时可以采用学习算法来获取知识，得到不确定性推理机制。利用神经网络的信号处理能力和自动推理功能，即实现了多传感器数据融合。
参考：
多传感器融合（一）
多传感器融合（二）
多传感器融合（三）
自动驾驶技术-环境感知篇：多传感器融合技术?
崔硕,姜洪亮,戎辉,王文扬.多传感器信息融合技术综述[J].汽车电器,2018(09):41-43.
多传感器融合（算法）综述