CCM-SLAM论文阅读笔记
整体框架结构
如图所示：单智能体只负责采集图像数据，运行实时视觉里程计VO以估计当前位姿和环境地图，由于单智能体计算资源有限，负责生成的局部地图只包含当前N个最近的关键帧。服务器负责地图管理、地点识别、地图融合和全局BA优化。所有局部地图使用本地里程计框架，地图信息在从一个本地里程计到另一个本地里程计框架的相对坐标中进行交换。CCM-SLAM不假设任何关于智能体初始位置的先验信息或配置，所有智能体独立运行，直到位置识别模块检测到两张地图之间的重叠区域，才允许关联两张地图中涉及到的测量数据。
通信
服务器和智能体之间的双向通信是基于无线网络建立的，采用的通信协议能够处理一定的网络干扰，例如延迟和消息丢失。服务器和智能体都运行各自的通信模块，该模块完成地图信息之间的交换并监视信息交换中的潜在错误。
系统模块
基于关键帧的VO(视觉里程计)
前端是基于ORB-SLAM2的前端实现的，通过跟踪局部地图中ORB特征点来估计智能体的帧间运动，同时，这些特征点也被存储为3D地图点。在最具代表性的帧（即关键帧）与地图点之间采取位姿图方式进行存储，CCM-SLAM在单个局部地图限制为固定数量的N个关键帧，以确保服务器能够进行实时的BA优化。
局部地图
局部地图的本质是将连续的关键帧连接到相应的地图点，两个关键帧之间通过无向边连接，地图点到关键帧之间的权重由这些关键帧的共享地图点数所决定。对于当前位姿图的优化，根据设置的N个关键帧数量对局部地图进行裁剪。将VO最后创建的关键帧定义为当前关键帧，表示当前智能体的位置。如果局部地图中关键帧数量超过了N，则只保留当前帧与前N-1帧在局部地图中。在从本地局部地图中删除关键帧之前，会验证服务器是否确认收到了此关键帧，但为了防止通信中断造成数据丢失，本地可以保留最多B个关键帧的缓冲区（文章中设置的B=N）。当服务器确认收到该缓冲区中关键帧后，该缓冲区就会被清空。若缓冲区也被填满，则智能体通过删除关键帧来保持自身存储N+B个关键帧的上限，优先删除最初由其他智能体创建的关键帧，因为这些关键帧已经被存储在服务器的地图栈中。
服务器地图栈
服务器地图栈包含当前与智能体处理程序相关联的所有服务器地图，地图结构与局部地图结构相同，但没有帧数限制。初始化系统时，将为系统中每个智能体创建一个服务器地图，并由其相应的处理程序进行管理。系统进行任务期间，合并两个局部地图时，两个地图都将从地图栈中删除，由一个包含两个地图信息的新服务器地图代替，这个新地图将与所有智能体的地图处理程序进行关联，参与地图融合。
智能体处理程序
服务器中的智能体处理程序管理相应智能体到达服务器的地图。对于每一个智能体处理程序，它会初始化一个通信模块，在服务器地图栈中为相应的智能体创建一个服务器地图，创建一个地图管理、地图位置识别模块，每个模块并行运行在一个单独的线程中。此外，它还提供了一个接口来修改与智能体的依赖关系，因为当两个服务器地图融合时，对融合中涉及的所有智能体的所有模块，关联的服务器地图将被新的服务器地图替换。另外，与智能体相关的每个处理程序都拥有一个Sim3转换，负责将局部地图转换到服务器地图的坐标下。
通信模块
在智能体端，通信模块跟踪地图中的所有变换，比如任何添加和更改的关键帧和地图点，并将这些信息转为发送到服务器的消息。由于地图不断变化，消息的发布速率限制为最大值，由于每条新消息都包含上条信息的任何更改，消息的大小也是有限的，以防止在到服务器的连接中断几秒钟的情况下将过大的地图信息打包成一条消息。在消息打包过程中，为防止出现资源竞争，视觉里程计VO无法访问本地地图，因此较大的消息可能会长时间阻塞影响跟踪。在这种情况下，需要发送到服务器的消息被分段发送。
在服务器端，服务器发送给智能体每一条消息都包含了与当前关键帧关联性最强的k个关键帧以及观察到的地图点。这K个关联性最强的关键帧是基于它们的协方差权重来选择的，并不考虑这些关键帧是来自哪一个智能体，智能体用这k个关键帧来增强局部地图。在服务器端，消息发布的速率也被限制在最大速率，以限制网络带宽要求和智能体端处理接收信息所需的计算量，通过调整速率和参数k，通信流量可以适应网络中可用的最大带宽。
服务器与智能体端之间的关键帧和地图点位置信息的交换都使用相对坐标，若交换绝对坐标则会导致智能体端的比例漂移或服务器上的闭环：在优化期间到达的关键帧将不可避免的与优化图不对齐。在全局BA期间，服务器地图被锁定，传入的关键帧在输入缓冲区排队，发生闭环时，回路两端对齐，导致地图部分的位姿发生变化。由于输入缓冲区的数据不会参与到闭环优化，其绝对坐标不再与优化图对齐。
发送到服务器的每个关键帧都包含两个相对位姿，第一个位姿与上一个关键帧相关，第二个位姿与其位姿图中关联性最强的关键帧相关联。这允许CCM-SLAM在一定程度上补偿数据丢失，他不一定需要第i-1个关键帧在服务器地图中注册第i个关帧，因此即使包含第i-1个关键帧的消息丢失，第i个关键帧也可以被处理。
为了将数据从服务器传输到智能体端，服务器对相关于当前关键帧的所有关键帧姿势和地图点位置进行编码。当智能体的通信模块接收到已知并注册在本地地图中的关键帧和地图点时，关键帧和地图点根据该消息被更新，因为它们已经连接在本地地图中。如果传入的关键帧和地图点不存在于本地地图中，则建立这些连接。
智能体端与服务器之间的任何通信都可以区分为两种类型的消息：“新数据”或“更新”。对于新数据，即新创建的关键帧和地图点，智能体端发送包括从图像中提取的2D特征关键点、它们的特征描述符以及相关联的3D地图点(用于关键帧)或连接的关键帧(用于地图点)的整个数据结构。对于地图点，大约为200字节的消息，包括相关关键帧的ID和表示该地图点的图像关键点的36字节特征描述符。
对于每个新的关键帧，消息必须编码所有20字节的2D图像关键点及其相关的36字节特征描述符，这大约55kB的消息以及消息中包含的其他信息(假设以关键帧中的1000个特征的最大值进行计算)。但是，每个关键帧的2D关键点及其描述符只计算一次，并且不会改变，因此我们只发送一次此信息，以避免不必要的网络流量。因此，对于以下所有更改，我们只需要将更新消息发送到服务器，其中包含关键帧的新姿态(以及每个 地图点的新位置)。这些消息对于关键帧只有148个字节，对于地图点只有52个字节。
对于从智能体端传递到服务器的消息，我们采用乐观的方法: 如果消息被发送到服务器，我们假设它成功到达，除非有证据表明情况并非如此。发送到服务器的消息中的关键帧总是从最小的 id 开始排序，服务器也是按这个顺序处理的。在发送给智能体端的任何消息中，服务器包含已经处理过的关键帧的信息。因此，当智能体收到 第i个关键帧被处理过的信息，而没有确认第i-1个关键帧被接收过，这些数据显然丢失了。在这种情况下，第i-1个关键帧的所有数据，包括2d 图像关键点和描述符，再次发送到服务器。同样的方法也适用于地图点。“新数据”和“更新”之间的区别，对于 CCM-SLAM在所有使用无线连接的机器人上平稳运行的能力至关重要。
如果到服务器的连接中断，智能体将不再接收任何数据来增强其本地地图或确认数据已经到达服务器。因此，它将填充本地地图到最大允许的大小，然后开始擦除数据保持上限。因此，在连接中断的情况下，智能体所携带的系统退回到一个有限的本地地图窗口的 vo，这仍然为智能体在环境中自主移动提供了所有必要的信息。
服务器地图
服务器地图模块有三个主要职责。首先，将新到达的关键帧转发到关键帧数据库、地图内部场景识别和地图匹配模块。第二个任务是建立新的关键帧和地图点与相应服务器地图中已存在姿态图之间的连接。服务器地图模块的第三个任务是对服务器地图中的关键帧进行冗余检测(关键帧拒绝)。当一个不同的位置在一次任务中被一个或多个智能体多次访问时，该地图包含来自这个位置的几个关键帧。
虽然这些关键帧中的一些，比如来自不同角度的关键帧，为系统添加了更多的信息，但其他一些关键帧可能编码了几乎相同的信息，因此没有必要保留所有这些类似的测量数据。由于地图大小即使在中等大小的环境中也会快速增长，这种冗余检测对于保持可管理的地图非常重要。这使多机协作系统能够在大规模环境中工作，因为地图的大小影响服务器上大多数进程的时间安排，如地点识别、地图查询或BA。
这个关键帧拒绝方案从服务器映射中随机选择一个关键帧，遍历优化图中所有相邻的关键帧，并且检查他们观察到的地图点。如果对于一个预定义的地图点阈值θ% ，关键帧的θ%地图点被至少3个其他关键帧观察到，该关键帧则被认为是冗余的，并从服务器地图中删除。由于地图中关键帧之间的连接在任务执行过程中可能会发生变化，CCM-SLAM使用这种概率方案，而不是只按顺序检查新关键帧是否与地图中的其他关键帧冗余。此外，服务器的其余模块(地图、场景识别)受益于较小的服务器地图，因此，对于在大规模场景下有许多智能体的任务来说，关键帧拒绝程序是必不可少的。
场景识别和关键帧数据库
场景识别系统使用 关键帧数据库检测服务器地图堆栈中的位置之间的重叠。这种场景识别系统的一个重要特点是它能够匹配不同摄像机参数的多个单目摄像机传感器的测量值。这使得CCM-SLAM成为一个多功能的系统，因为它可以与配备不同摄像头的异构机器人一起使用。
关键帧数据库是在运行时逐步构建的，使用从所有智能体获取的所有关键帧。使用 DBOW2库实现一个反向文件索引，它允许对具有相同特征的过去关键帧进行新关键帧的有效查询。从每个关键帧的唯一 id 中提取智能体id，数据库只能查询属于特定地图的关键帧子集。
对于到达服务器的每个新关键帧，使用关键帧数据库执行两种类型的场景识别查询: 地图场景识别和地图匹配。地图内部场景识别检测以前访问过的位置在一个服务器地图中。检测这样的轨迹重叠允许添加新的约束到姿态图，可用于优化步骤，以提高整体地图精度。地图内部位置识别的成功查询之后是 BA。地图匹配检测两个服务器地图之间的重叠，这允许计算这些地图之间的 sim3转换，并在它们之间添加约束。如果地图匹配成功检测到两个地图之间的重叠，则将此匹配转发到地图融合模块。
地图融合
地图匹配模块发送一对分别属于地图1和地图2的匹配关键帧1和关键帧2，以进行地图融合，同时提供一个两张地图的地图点向量和一个sim3变换。地图融合初始化一个新的第三方服务器地图，以融合来自所有对地图1和地图2有贡献的智能体信息。采用地图1作为服务器地图的坐标框架，将地图1中所有的关键帧和地图点直接输入服务器地图。将地图2中的数据转换为服务器地图的坐标框架。
在从地图匹配过程中识别的地图1和地图2之间的任何匹配地图点对都合并到服务器地图中的一个地图点中，然后在服务器地图上执行BA。最后，所有指向地图1与地图2的指针都使用智能体处理程序提供的接口更改为服务器指针，然后从服务器地图栈中将地图1和地图2删除。
全局BA
每当位置识别成功检测到两个服务器地图之间的匹配时，新的服务器地图就会进行全局优化。当在特定的服务器地图中检测到循环时，也会触发全局优化。全局光束法平差(BA)通过最小化所有关键帧和地图点的重投影误差来优化各自的服务器地图，以提高其建图的精度并减少比例漂移。由于CCM-SLAM被设计为允许智能体在大环境中运行，这种7自由度(dof)的姿态图优化只能在服务器上执行，因为对于大型地图，优化步骤需要几秒钟。
由于其他模块在优化过程中无法访问地图，因此通信模块将任何传入的数据存储在缓冲区中，并在优化完成时对其进行处理。使用 g2o 的 levenberg-marquardt 算法来实现全局 ba。在开始全局BA之前，姿态图的优化是在地图上使用子图的共可见图只包含强边(边权 w ≥100)称为本质图，因为这显著地改进了优化的时间和精度。
实验设置
对于所有实验，使用了表1中列出的基础设施。对于拥有3架无人机的真实世界飞行，用于数据集评估的第三个智能体端选择一个计算能力较小的小型无人机取代，以证明 CCM-SLAM对不同平台的适应性。为了对CCM-SLAM进行分析，使用了同时在每个智能体上运行的同一区域的预先记录数据集，并在实际实验中演示了整个框架，同时对从所有无人机上获取的单目数据进行了在线处理。
为了对预录数据集进行分析，三个代理和服务器通过无线网络连接，实现了服务器和代理之间的真实通信。然后在无人机上处理记录数据集，使用相同的输入数据使不同运行的评估更具可比性，这种设置几乎等同于现实世界的飞行。此外，这种设置允许影响网络连接的质量，使用的数据集为评估提供了基础真实性。为了评估在连接受到干扰的情况下通信的行为，设置人为地干扰网络。
数据集
对于 CCM-SLAM的评估，使用了公开的 euroc 数据集和自己的 irchel 数据集，它们最重要的特征简要地总结在表2中。两个数据集都提供了来自徕卡全站仪的精确地面真实位置数据。Euroc 数据集包含使用 Asctec FireFly 无人机和前视摄像机在工业环境中反复拍摄的视频序列，每个序列在一个单独的智能体上同时进行处理，同时与服务器在线通信。
文章中的 irchel 数据集包含了几组 Asctec neo 无人机飞行时拍摄的序列，这架无人机在室外花园区域上方安装了一个向下看的摄像机。
带宽要求
如前面所述，CCM-SLAM 能够处理在实际情况中经常发生的网络问题，例如由于智能体端与服务器之间的距离较远或由于网络中智能体过多而引起的延迟和消息丢失。为了评估这种行为，使用下图中的设置来模拟通信中的干扰。在智能体端和服务器之间的接口上，放置了一个额外的模块，叫做通信控制器，它们通过无线连接连接在一起。所有的信息都通过这个通信控制器，这个控制器以概率丢失的方式丢弃传入的信息，干扰通信，然后以1-丢失概率的概率转发给接收者。
此外，在转发消息之前，它会在指定的延迟时间内阻塞消息。通过这种设置，可以建立质量不好的网络连接模型，并评估这种网络效应对系统的影响。对于这些实验，智能体端和服务器以最大2HZ的速率发布消息，而服务器发送给智能体的关键帧数量被限制为每条消息的 k = 5。由于从服务器发送到代理的消息通常比较大，如下图所示，因此服务器发布的速度低于代理。
下图a显示了一个、两个和三个智能体设置中每个智能体从单个智能体到服务器的平均网络流量。有了完美的网络连接(即没有延迟，没有消息丢失) ，平均网络流量大约为0.4 mb/s。如图a 所示，高达0.5 s 的网络延迟不会改变这个值。因为小的延迟不会导致需要发送更多的消息。由于数据丢失时需要重复发送，因此一个受干扰的通信，其消息丢失概率 p = 0.2和 p = 0.5的确会增加网络通信量。实验表明，p = 0.2可以很好地被系统处理，因为网络流量只是轻微地增加，即使消息丢失，接收者通常很快又接收到丢失的信息。然而，p = 0.5的消息丢失对系统来说是至关重要的。
在这种情况下，除了双重网络通信外，由于局部地图较小，这种消息丢失的高概率可能会导致智能体端达到其允许的局部地图大小的极限，并且必须在服务器能够接收到信息之前删除信息，从而造成这种信息的永久丢失。图a 还显示，智能体的数量并不显著影响从每个智能体端到服务器的通信量，因为单个智能体引起的网络通信量几乎等于一个、两个和三个参与智能体，因此意味着从智能体端向服务器发送数据所引起的网络通信量随参与智能体的数量呈线性关系。这是由于局部地图大小包含的关键帧数量不变，无论是有一个或者多个智能体端贡献了关键帧。
网络干扰对从服务器到每个代理的流量的影响如图 b 所示。正如预期的那样，由于服务器总是将最近的k个 关键帧发送到智能体端的最后一个已知位置，因此该通信流量几乎保持不变，与网络连接质量无关。网络流量随着智能体数量的增加而略有下降的原因是，在多智能体场景中，可以对服务器地图进行更多闭环优化。由于全局BA 正在执行地图优化。从而导致服务器地图长期被锁定并且没有信息传输到代理。
下图使用MH01序列说明了网络延迟对系统的影响。因为之前已经证明了智能体数量不会造成显著影响，所以这个实验是在单智能体设置中执行的。虽然延迟对网络流量没有显著影响，但服务器图的轨迹误差随着延迟的增大而增大。较大的延迟会导致智能体端的实际位置与服务器已知的智能体位置之间的较大差异。因此，服务器将临近过去位置的地图数据发送给智能体，延迟越大，对智能体的用处就越小。
这些实验证明了所提出的系统对服务器和参与智能体之间的通信中的实际干扰的恢复能力。通过CCM-SLAM框架在不影响协作的情况下可以使用的智能体数量主要取决于网络连接的带宽和服务器上可用的计算能力。然而，如上所述，即使当智能体的数量过大以至于完全使网络流量过载时，根据设计，智能体仍然可以确保不受干扰地运行VO。
主要参数设置
参数k为从服务器发送到智能体端以增强局部地图的关键帧数量，参数N为局部地图的大小。参数对建图，通信，网络流量和服务器地图均方根误差的影响如下图所示：所有后续实验，使用N = 50kf和k = 5kf。是为了适应所用无线路由器的有限带宽，并在每个智能体的机载模块的定时和轨迹估计的准确性之间提供良好的平衡。
关键帧剔除阈值θ，如果至少有3个关键帧观察到某一关键帧所有地图点的θ%，则删除该关键帧。阈值θ对框架的影响如下表所示：
如表4所示，对于大约400 关键帧的地图，全局BA需要几秒钟。
然而，从系统中移除信息也会影响地图估计的结果精度，如表5所示。此外，高拒绝率可以减少可以检测到的成功地点识别查询的数量。显然，关键帧冗余检测是保持地图易于管理的一个重要特征，尤其是在重新访问区域时。然而，关键帧的拒绝不应该太严格，因为从系统中删除了太多信息。对于其余的实验，使用θ = 98 %的阈值。
协同SLAM
下表是单智能体和协同SLAM的轨迹误差比较。
CCM-SLAM在Irchel数据集上的表现优于VINS。尽管VINS-mono在单目的基础上附加了惯性信息，但根据实验，它的性能在运行过程中波动很大。上表中显示的结果是5次实验以上的结果。如下图所示，Irchel序列中的轨迹大多位于不同的高度水平，EuRoc序列的轨迹则更加交错。
对VO的在线姿态估计进行了评估，以检验共享数据对智能体端跟踪的影响，结果如下表所示。在两个智能体上运行CCM-SLAM，使用表中所示的数据集，不共享智能体之间的数据(“个体代理”)，并进行数据交换(“协作代理”)。对于每一帧，我们存储通过跟踪计算得到的姿态估计，即不进行任何全局优化。在实验结束时，我们将所有姿态全局对齐到ground truth，并计算误差来估计VO的准确性，并将智能体1和智能体2的误差相加得到一个包含所有智能体端的准确性测量。下表中报告的结果表明，通过协作，参与的智能体可以提高其在任务期间的机载VO估计的准确性。
真实世界飞行
为了证明CCM-SLAM在真实场景中的实用性，在飞行过程中，三架运行CCM-SLAM的无人机进行了同时飞行，结果如下图所示：
协同SLAM在搜救场景中的应用
在一个真实世界的实验中确认了CCM-SLAM的实用性之后，通过部署两架运行CCM-SLAM的无人机在搜索和救援场景中测试其在更大场景中的适用性。我们使用下图中所示的训练村进行救援行动，在这里，使用大约200米× 100米的区域进行实验，其中包括一些倒塌的建筑和其他灾难场景。
在本实验中，智能体1负责该区域的左侧，而智能体2负责右侧。同样，两个智能体开始各自探索它们的环境。当检测到来自两个智能体的服务器地图之间的重叠时，这些地图合并为一个服务器地图，两个智能体都参与其中，然后作为一个团队探索该区域。最终会产生下图所示的轨迹和协作地图：
由于在这种环境下无法获得准确的地面真值，无法定量地评估估计的误差。然而，将对齐的CCM-SLAM-map与谷歌Maps的相应视图进行比较，例如，脱轨列车的区域(紫色入口处放大)，发现两个智能体的CCM-SLAM地图点对齐得很好，表明协作估计的质量很好。除了证明CCM-SLAM在一个目标应用场景中的适用性外，该实验还表明CCM-SLAM能够处理这个大小的区域(1336 KFs, 46413 MPs)，并使用一个标准Wi-Fi路由器(这里使用的TP-LINK Archer C7)，协同SLAM仍然可以可靠地运行，确保每个智能体上的实时操作。对于更大的场景,它可能需要改善网络基础设施覆盖面积与一个更强大的路由器,以及和一个更强大的服务器能够处理大量的数据在代理任务,以确保在运行时访问合作估计。
总结
在论文中，介绍了CCM-SLAM，这是一种新颖而强大的协作SLAM框架，用于集中式服务器和多个智能端，如小型无人机或其他机器人，每个智能端都配备了单目摄像机和一个小型处理单元。这些机器人以彼此和服务器都不知道的配置开始执行任务，同时运行实时视觉里程计，以保持他们在整个任务中的自主性。潜在的更强大的中央服务器收集所有智能端计算的估计，同时执行更耗时但非实时要求的任务，如搜索闭环和在智能端地图上的重叠，必要时进行冗余检测和全局优化。服务器通知智能端的任何机载本地地图的更新(例如，在全局优化之后)，并提供每个智能端的额外信息(如姿势和地标)在其当前的操作附近，如果可用，例如，由相同的智能端在过去或其他智能端收集。虽然现有的工作通常只允许从智能端到服务器的通信，但CCM-SLAM中的这种双向通信是实现更好和更一致的车载估计的关键。成功地解决了对常见通信干扰的鲁棒处理的挑战，CCM-SLAM更进一步，在任务期间真正利用了感兴趣区域内的多个智能端的存在。
对基准数据集测试和新数据集的实验分析揭示了CCM-SLAM在处理常见网络问题(如延迟和消息丢失)方面的强大能力，以及它对每个智能端上的计算资源和通信网络可用带宽的适应性。CCM-SLAM估算结果的比较证实，参与智能端之间的协作提高了最终全局轨迹估计的准确性，以及运行期间智能端上的在线姿态估计。此外，研究了该框架在智能端数量上的可扩展性，证实了智能端的实时性不会因智能端数量的增加而受到影响。正如预期的那样，每一个新的智能端都会给网络流量增加更多的负担，因此，带宽是服务器计算能力之外的可伸缩性的唯一限制因素。在使用三架具有异构机载计算资源的无人机的设置中，利用这一分析的见解，在真实的实验中演示了CCM-SLAM的能力，所有无人机飞行在相同的区域，同时通过一台作为服务器的标准笔记本电脑交换信息。只有这样一个健壮、高效的框架，才能实现协同定位和映射，这是机器人团队进一步协作任务的第一步。
未来的方向将集中于研究机器人团队共享的每一点信息的价值，以提供对更敏捷的信息操作的见解，并在协作系统评估的效率和准确性之间进行良好的权衡。