IT数码 购物 网址 头条 软件 日历 阅读 图书馆
TxT小说阅读器
↓语音阅读,小说下载,古典文学↓
图片批量下载器
↓批量下载图片,美女图库↓
图片自动播放器
↓图片自动播放器↓
一键清除垃圾
↓轻轻一点,清除系统垃圾↓
开发: C++知识库 Java知识库 JavaScript Python PHP知识库 人工智能 区块链 大数据 移动开发 嵌入式 开发工具 数据结构与算法 开发测试 游戏开发 网络协议 系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程
数码: 电脑 笔记本 显卡 显示器 固态硬盘 硬盘 耳机 手机 iphone vivo oppo 小米 华为 单反 装机 图拉丁
 
   -> 人工智能 -> RS-SLAM A Robust Semantic SLAM in Dynamic Environments Based on RGB-D Sensor -> 正文阅读

[人工智能]RS-SLAM A Robust Semantic SLAM in Dynamic Environments Based on RGB-D Sensor

摘要:

大多数最先进的V-SLAM算法在结构化环境中表现良好。然而,静态世界的假设限制了进一步的实际应用。在本文中,我们提出了RS-SLAM,一个鲁棒的语义RGB-D SLAM系统。RS-SLAM能够检测移动和可移动的物体,实现高精度定位。

采用语义分割模型对动态对象进行识别。具体而言,是利用基于贝叶斯更新(Bayesian update)的上下文信息对分割结果进行细化,从而更准确地提取出感兴趣的区域。在此基础上,提出了一种移动目标检测方法。

此外,引入了映射过程中的更新策略,实时构建了仅包含静态世界的三维语义OctoMap。我们的SLAM系统在公共数据集和现实环境中都进行了评估。结果表明,RS-SLAM的精度优于标准可视化SLAM基线,能够在动态环境中构建清晰的静态语义OctoMap。

RS-SLAM系统在ORB-SLAM2的基础上主要增添了动态内容剔除和密集语义映射两个模块。

系统以RGB-D图像对作为输入:

RGB帧同时用于两个过程:语义分割和特征提取;

深度信息帧作用于两个过程:用于动态内容检测和密集语义映射。

系统工作流程:

RGB-D传感器提供RGB帧与深度帧;

RGB帧通过PSPNet语义分割模块对动态内容进行分割,再经基于贝叶斯更新的上下文信息对分割结果进行细化。动态内容剔除模块对移动对象与可移动对象进行剔除;

跟踪模块对剔除过的静态背景图像帧进行ORB特征提取并估计相机位姿;

密集语义映射模块首先判断剔除过的静态背景图像帧能否作为关键帧,关键帧再结合深度帧信息、剔除过的静态背景图像帧与分割细化的图像帧,以八叉树的形式进行映射更新密集语义地图。

移动(运动)和可移动对象的检测

认为人是移动的对象,椅子是可移动的对象。人是绝对动态。椅子的实际状态可以根据与人(移动的对象)的几何关系来推断。

首先计算人与椅子的语义区域的质心之间的距离,如图3.b所示,利用经过细化的标记图像,可以定位出属于人(运动物体)的区域。如图3.c所示,然后提取语义图像的轮廓。可以计算每个标记区域的零阶矩和一阶矩:

其中x和y是每个标记区域的像素坐标。I (x, y)为区域在(x, y)处的像素值,用m00、m01、m10可得到区域的质心(即图3.c中的C1、C2、P):

人的质心和椅子的质心分别记为Cp和Cc。椅子标签和人标签区域的质心之间的欧氏距离(即图3.c中的红线)记为E,在(5)中计算。如果该距离小于阈值,则将椅子归为可移动对象(即,可以被人为移动)。

移动(运动)和可移动对象的判断

如图5所示:

步骤1提供经过贝叶斯更新细化的移动和可移动对象的语义区域。

在步骤2中获得质心之间的距离。

阈值受移动和移动对象之间的深度差的影响,并在步骤3中灵活定义。首先,根据细化的分割区域获得人和椅子标记内容的深度信息。然后应用Otsu算法进一步对最显著的位置(foreground)进行区分,并获得对象的精确区域,如图4所示。

右图像是使用Otsu方法提取的区域。我们使用每个提取对象的平均深度分别计算A和B1、A和B2区域之间的深度差。深度差的两个值被转换为(6),以生成相应的阈值。利用衰减函数来模拟深度差与阈值之间的关系,可以看作是阈值的自适应选择。也就是说,移动对象和可移动对象之间的深度差越小,可移动对象越可能是动态的。

如图5第4步和第5步所示,如果质心欧氏距离小于计算的阈值,则可移动物体视为动态,否则视为静态。

例如,在图3.d中,我们将C1和P之间的质心距离表示为C1P,将C2和P之间距离表示为C2 P。如果C1 P大于其相应的阈值,则左侧的椅子估计为静态。如果C2P小于其相应的阈值,则右侧的椅子被估计为动态的。

实验

在TUM数据集和现实环境上对我们的系统进行评估。Kinect-V1提供实时RGB和深度图像,大小为640*480。

使用绝对轨迹误差(A TE)和相对位姿误差(RPE)进行实验,定量比较结果如表一至表三(绝对估计误差、平移漂移、旋转漂移)

对于ATE,RS-SLAM算法的平均RMSE提高了91.49%,标准差(SD)提高了88.03%,表明RS-SLAM算法具有较好的鲁棒性和稳定性。结果表明,在动态场景下,该方法可以显著提高SLAM性能。

  人工智能 最新文章
2022吴恩达机器学习课程——第二课(神经网
第十五章 规则学习
FixMatch: Simplifying Semi-Supervised Le
数据挖掘Java——Kmeans算法的实现
大脑皮层的分割方法
【翻译】GPT-3是如何工作的
论文笔记:TEACHTEXT: CrossModal Generaliz
python从零学(六)
详解Python 3.x 导入(import)
【答读者问27】backtrader不支持最新版本的
上一篇文章      下一篇文章      查看所有文章
加:2022-10-17 12:33:42  更:2022-10-17 12:36:19 
 
开发: C++知识库 Java知识库 JavaScript Python PHP知识库 人工智能 区块链 大数据 移动开发 嵌入式 开发工具 数据结构与算法 开发测试 游戏开发 网络协议 系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程
数码: 电脑 笔记本 显卡 显示器 固态硬盘 硬盘 耳机 手机 iphone vivo oppo 小米 华为 单反 装机 图拉丁

360图书馆 购物 三丰科技 阅读网 日历 万年历 2024年5日历 -2024/5/19 18:11:40-

图片自动播放器
↓图片自动播放器↓
TxT小说阅读器
↓语音阅读,小说下载,古典文学↓
一键清除垃圾
↓轻轻一点,清除系统垃圾↓
图片批量下载器
↓批量下载图片,美女图库↓
  网站联系: qq:121756557 email:121756557@qq.com  IT数码