[人工智能]2021-09-29 使用安卓手机Camera和IMU信息运行ORBSLAM3

目的

安卓手机具备camera imu gps等SLAM技术所需要的传感器，且安卓手机很普及,如果能使用安卓设备作为ros的sensor，通过安卓设备节点传输到计算机，进行实时定位与建图分析，那么这项技术将变得很易用。

以下介绍并不是事无巨细的介绍，要求阅读者有强大的动手能力，资料查阅能力，对linux系统，opencv，slam技术，ROS，android studio应用开发，python，C++都有一定程度的了解。

是我个人在实现过程中解决问题途径的记录，很多东西是我在网上没有找到的，希望能给大家带来帮助。

安装ros系统

ubuntu18系统下应该安装melodic

sudo sh -c '. /etc/lsb-release && echo "deb http://mirrors.ustc.edu.cn/ros/ubuntu/ $DISTRIB_CODENAME main" > /etc/apt/sources.list.d/ros-latest.list'

sudo apt update

sudo apt-key adv --keyserver keyserver.ubuntu.com --recv-keys F42ED6FBAB17C654


sudo apt-get install ros-melodic-desktop-full

sudo apt install python-rosdep2

ros系统常见用法介绍

启动ros内核

roscore

查看topic列表

rostopic list

显示某个topic

rostopic echo /camera_raw

显示某个topic的header

rostopic echo /camera_raw/header

将compressed格式转为raw格式

rosrun image_transport republish compressed in:=/Mate/camera/ raw out:=/Mate/camera_raw/

限制topic频率

rosrun topic_tools throttle messages /Mate/camera_raw 4.0 /left

录制rosbag包

rosbag record -O bagpath.bag /camera_raw /imu

播放与加速播放rosbag

rosbag play -r 100 bagpath.bag

rosbag play bagpath.bag

安装rviz

----------------------

启动rviz

rviz

安卓手机充当ros sensor

安卓ROS SENSOR开源库链接

----------------------

这里注意修改相机分辨率到合适的大小，本文选择640x480

需要使用android studio同时挂好梯子，将android studio中的代理设置好

Kalibr与imu-tools对sensor进行imu和相机的联合

Kalib的个人发现难以直接使用

需要git clone进行编译

参考链接如下

编译过程中坑很多，如果遇到如找不到lblas等报错，可以考虑apt remove相关库后重新安装

过程中需要apt安装大量库

需要用到catkin(ros专用编译系统)

需要建立catkin空间，并在空间目录下新建src文件夹用于存放源码，切换到空间目录下可以执行指令进行编译，编译完成后注意添加系统变量。

生成标定版的python程序

# 如果在安装pip2包时出现了报错，可以尝试在前面加上PIP_NO_CACHE_DIR=off
PIP_NO_CACHE_DIR=off pip2 install pyX==0.12
python gen_qipan.py out.pdf --type apriltag --nx 3 --ny 4 --tsize 0.04 --tspace 0.2

我重写了一版本Python3的

----------------------

imu-tools编译与使用

也是使用catkin进行编译

中间坑挺多的

imu-tools对IMU进行标定

录制一个将SENSOR静止放置一段时间，推荐2小时的IMU数据bag

随后标定得到重力与加速度的噪声，随机走动等参数

相机标定

这里可以录制图片bag包，使用Kalibr中的程序进行标定，输出相机标定结果文件

为了提高标定效果，这里推荐如下进行操作

并使用Kalib中的提取程序提取得到图片

并使用matlab进行标定，得到的数据如何转化为Kalib和SLAM需要的格式可以参考我的另一篇文章

得到相机标定数据后，替换到相机标定结果文件中

相机与IMU联合标定

从安卓手机中直接抓取到的bag包有以下问题存在

1. IMU信息无法被Kalib直接读取
2. IMU和CAMERA的时间戳可能不在一个范围
3. IMU和CAMERA的时间戳可能不同步

这里分别有两个脚本解决以上问题

对于IMU信息无法直接读取的，使用以下脚本，在python2下运行

-----

对于2，3两个问题，需要使用以下脚本来解决

----------

这里简单介绍下原理

我的手机华为Mate30,IMU的频率为100，相机频率30

需要将相机的时间戳对齐到IMU中，这里将遍历ROSBAG中的所有信息

对于CAMERA信息，我们将其时间戳跟改为上一个IMU的时间戳，这样实现了CAMERA和IMU的时间戳对齐

ORBSLAM3的编译

这里需要编译安装opencv，等一系列库，同时也需要更改一些代码

在ROS相关的源码中，需要将topic根据实际情况进行改变

同时，可以用手机录制一个具有camera和IMU的bag，并用单目和单目+IMU进行测试

注意，这个录制的bag，也需要经过两个脚本以处理时间戳问题

参考链接

(29条消息) Kalibr 制作采集的图片和IMU数据生成 .bag 文件 （坑最全，解决方法最简单，最详细哈哈）_努力努力努力-CSDN博客https://blog.csdn.net/hltt3838/article/details/116064390