| |
|
开发:
C++知识库
Java知识库
JavaScript
Python
PHP知识库
人工智能
区块链
大数据
移动开发
嵌入式
开发工具
数据结构与算法
开发测试
游戏开发
网络协议
系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程 数码: 电脑 笔记本 显卡 显示器 固态硬盘 硬盘 耳机 手机 iphone vivo oppo 小米 华为 单反 装机 图拉丁 |
-> 数据结构与算法 -> ORB_SLAM2 源码解析 单目初始化器Initializer(三) -> 正文阅读 |
|
[数据结构与算法]ORB_SLAM2 源码解析 单目初始化器Initializer(三) |
目录 ?1.1、在半径窗口内搜索当前帧F2中所有的候选匹配特征点GetFeaturesInArea 1.4、遍历圆形区域内的所有网格,寻找满足条件的候选特征点,并将其index放到输出里 三、在所有匹配特征点对中随机选择8对匹配特征点为一组,用于估计H矩阵和F矩阵 1、将当前帧和参考帧的特征点坐标进行归一化(对应函数Initializer::Normalize) 3、利用生成的8个归一化特征点对, 调用函数 Initializer::ComputeH21() 使用八点法计算单应矩阵 5、更新具有最优评分的单应矩阵计算结果,并且保存所对应的特征点对的内点标记 计算基础矩阵,假设场景为非平面情况下通过前两帧求取Fundamental矩阵,得到该模型的评分 四、对给定的homography matrix打分,需要使用到卡方检验的知识 一、地图点初始化https://blog.csdn.net/m0_58173801/article/details/119891999?utm_source=app&app_version=4.14.1 初始换函数(Initialize):通过两帧匹配关系恢复帧间运动,并计算地图点的位置。 为什么要初始化 ? ? 因为刚开始没有地图点和初始位姿,用两帧匹配好的特征点三角化得到很多个三维点,用三维点做地图来跟踪下一帧。尺度归一化,初始化为场景的平均深度。? 先计算基础矩阵和单应性矩阵,选取最佳的来恢复出最开始两帧之间的相对姿态,并进行三角化得到初始地图点。 * Step 1 重新记录特征点对的匹配关系 * Step 2 在所有匹配特征点对中随机选择8对匹配特征点为一组,用于估计H矩阵和F矩阵 * Step 3 计算fundamental 矩阵 和homography 矩阵,为了加速分别开了线程计算 * Step 4 计算得分比例来判断选取哪个模型来求位姿R,t 一些重要的参数 * @param[in] ReferenceFrame 参考帧 * @param[in] sigma 测量误差 * @param[in] iterations RANSAC迭代次数 * @param[in] CurrentFrame 当前帧,也就是SLAM意义上的第二帧 * @param[in] vMatches12 当前帧(2)和参考帧(1)图像中特征点的匹配关系 * vMatches12[i]解释:i表示帧1中关键点的索引值,vMatches12[i]的值为帧2的关键点索引值 * 没有匹配关系的话,vMatches12[i]值为 -1 * @param[in & out] R21 相机从参考帧到当前帧的旋转 * @param[in & out] t21 相机从参考帧到当前帧的平移 * @param[in & out] vP3D 三角化测量之后的三维地图点 * @param[in & out] vbTriangulated 标记三角化点是否有效,有效为true * @return true 该帧可以成功初始化,返回true * @return false 该帧不满足初始化条件,返回false 二、重新记录特征点的匹配关系单目初始化中用于参考帧和当前帧的特征点匹配 * 步骤 * Step 1 构建旋转直方图 * Step 2 在半径窗口内搜索当前帧F2中所有的候选匹配特征点 * Step 3 遍历搜索搜索窗口中的所有潜在的匹配候选点,找到最优的和次优的 * Step 4 对最优次优结果进行检查,满足阈值、最优/次优比例,删除重复匹配 * Step 5 计算匹配点旋转角度差所在的直方图 * Step 6 筛除旋转直方图中“非主流”部分 * Step 7 将最后通过筛选的匹配好的特征点保存 ?一些重要的参数 * @param[in] F1 初始化参考帧 * @param[in] F2 当前帧 * @param[in & out] vbPrevMatched 本来存储的是参考帧的所有特征点坐标,该函数更新为匹 配好的当前帧的特征点坐标 * @param[in & out] vnMatches12 保存参考帧F1中特征点是否匹配上,index保存是F1对应特征点索引,值保存的是匹配好的F2特征点索引 * @param[in] windowSize 搜索窗口 * @return int 返回成功匹配的特征点数目 1、构建旋转直方图HISTO_LENGTH = 30
?1.1、在半径窗口内搜索当前帧F2中所有的候选匹配特征点GetFeaturesInArea
1.2、表示一个图像像素相当于多少个图像网格列和行
1.3、计算半径为r的圆左右上下边界所在网格列和行的ID ? ? ? ? ? ? 首先我们要查找半径为r的圆左侧边界所在网格列坐标。这个地方有点绕,慢慢理解下: ?(mnMaxX-mnMinX)/FRAME_GRID_COLS:表示列方向每个网格可以平均分得几个像素(肯定大于1) mfGridElementWidthInv=FRAME_GRID_COLS/(mnMaxX-mnMinX) 是上面倒数,表示每个像素可以均分几个网格列(肯定小于1) (x-mnMinX-r),可以看做是从图像的左边界mnMinX到半径r的圆的左边界区域占的像素列数? 两者相乘,就是求出那个半径为r的圆的左侧边界在哪个网格列中? 保证nMinCellX 结果大于等于0
1.4、遍历圆形区域内的所有网格,寻找满足条件的候选特征点,并将其index放到输出里
1.5、根据阈值 和 角度投票剔除误匹配
1.6、计算匹配点旋转角度差所在的直方图
1.7、根据方向剔除误匹配的点
1.8、将最后通过筛选匹配好的特征点进行保存
三、在所有匹配特征点对中随机选择8对匹配特征点为一组,用于估计H矩阵和F矩阵? ? ? 共选择 mMaxIterations (默认200) 组 ,mvSets用于保存每次迭代时所使用的向量。 ? ? ??将上面匹配好的特征点重新记录特征点对的匹配关系存储在mvMatches12,是否有匹配存储在mvbMatched1,在所有匹配特征点对中随机选择8对匹配特征点为一组,用于估计H矩阵和F矩阵。而且在计算fundamental 矩阵 和homography 矩阵,为了加速分别开了线程计算。线程计算也是我们前面介绍过的加锁和释放锁,主要目的是为了提高计算速度。计算出来的单应矩阵和基础矩阵的RANSAC评分,这里其实是采用重投影误差来计算的。 构造线程来计算H矩阵及其得分? ? ? ? 详细的求解原理已经在前面细讲过了,大家可以看前面连接上面的文章,这里就把最后推导出来的公式拿出来了。 ? ? ? ?一对点提供两个约束等式,单应矩阵H总共有9个元素,8个自由度(尺度等价性),所以需要4对点提供 8个约束方程就可以求解。 thread方法比较特殊,在传递引用的时候,外层需要用ref来进行引用传递,否则就是浅拷贝 一些重要参数 FindHomography 该线程的主函数 ref(vbMatchesInliersH), 输出,特征点对的Inlier标记 ref(SH), 输出,计算的单应矩阵的RANSAC评分 ref(H)); 输出,计算的单应矩阵结果 @param[in & out] vbMatchesInliers 标记是否是外点 @param[in & out] score 计算单应矩阵的得分 @param[in & out] H21 单应矩阵结果 ? ? ? ?具体步骤计算单应矩阵,假设场景为平面情况下通过前两帧求取Homography矩阵,并得到该模型的评分 * Step 1 将当前帧和参考帧中的特征点坐标进行归一化 * Step 2 选择8个归一化之后的点对进行迭代 * Step 3 八点法计算单应矩阵矩阵 * Step 4 利用重投影误差为当次RANSAC的结果评分 * Step 5 更新具有最优评分的单应矩阵计算结果,并且保存所对应的特征点对的内点标记 1、将当前帧和参考帧的特征点坐标进行归一化(对应函数Initializer::Normalize)原理参考 Multiple view geometry in computer vision P109 算法4.4 Data normalization is an essential step in the DLT algorithm. It must not be considered optional. Data normalization becomes even more important for less well conditioned problems, such as the DLT computation of the fundamental matrix or the trifocal tensor, which will be considered in later chapters 为什么要归一化Ah=0 ? ? ? ? 矩阵A是利用8点法求基础矩阵的关键,所以Hartey就认为,利用8点法求基础矩阵不稳定的一个主要原因就是原始的图像像点坐标组成的系数矩阵A不好造成的,而造成A不好的原因是像点的齐次坐标各个分量的数量级相差太大。基于这个原因,Hartey提出一种改进的8点法,在应用8点法求基础矩阵之前,先对像点坐标进行归一化处理,即对原始的图像坐标做同向性变换,这样就可以减少噪声的干扰,大大的提高8点法的精度。 预先对图像坐标进行归一化有以下好处:能够提高运算结果的精度 利用归一化处理后的图像坐标,对任何尺度缩放和原点的选择是不变的。归一化步骤预先为图像坐 标选择了一个标准的坐标系中,消除了坐标变换对结果的影响。 归一化操作分两步进行,首先对每幅图像中的坐标进行平移(每幅图像的平移不同)使图像中匹配的?组成的点集的形心(Centroid)移动到原点;接着对坐标系进行缩放使得各个分量总体上有一样的平均值,各个坐标轴的缩放相同的。 ?注:使用归一化的坐标虽然能一定程度的消除噪声、错误匹配带来的影响,但还是不够的。 归一化具体操作一阶矩就是随机变量的期望,二阶矩就是随机变量平方的期望;一阶绝对矩定义为变量与均值绝对值的平均。 ? ? ? ? ? 将当前帧和参考帧中的特征点坐标进行归一化,主要是平移和尺度变换 ,具体来说,就是将mvKeys1和mvKey2归一化到均值为0,一阶绝对矩为1,归一化矩阵分别为T1、T2 ,这里所谓的一阶绝对矩其实就是随机变量到取值的中心的绝对值的平均值 ,归一化矩阵就是把上述归一化的操作用矩阵来表示。这样特征点坐标乘归一化矩阵可以得到归一化后的坐标
2、选择8个归一化的点进行迭代
3、利用生成的8个归一化特征点对, 调用函数 Initializer::ComputeH21() 使用八点法计算单应矩阵单应矩阵原理:X2=H21*X1,其中X1,X2 为归一化后的特征点 特征点归一化:vPn1 = T1 * mvKeys1, vPn2 = T2 * mvKeys2 得到:T2 * mvKeys2 = Hn * T1 * mvKeys1 进一步得到:mvKeys2 = T2.inv * Hn * T1 * mvKeys1
4、利用重投影误差为当次RANSAC的结果评分RANSAC算法 少数外点会极大影响计算结果的准确度.随着采样数量的增加,外点数量也会同时增加,这是一种系统误差,无法通过增加采样点来解决. RANSAC(Random sample consensus,随机采样一致性)算法的思路是少量多次重复实验,每次实验仅使用尽可能少的点来计算,并统计本次计算中的内点数.只要尝试次数足够多的话,总会找到一个包含所有内点的解. RANSAC算法的核心是减少每次迭代所需的采样点数.从原理上来说,计算
5、更新具有最优评分的单应矩阵计算结果,并且保存所对应的特征点对的内点标记
计算基础矩阵,假设场景为非平面情况下通过前两帧求取Fundamental矩阵,得到该模型的评分等式左边两项分别用A, f表示,则有 ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? Af=0 一对点提供一个约束方程,基础矩阵F总共有9个元素,7个自由度(尺度等价性,秩为2),所以8对点 提供8个约束方程就可以求解F。? 求解基础矩阵F和求解单应矩阵类似,我们就不一一展开了。 八点法计算基础矩阵基础矩阵约束:p2^t*F21*p1 = 0,其中p1,p2 为齐次化特征点坐标 特征点归一化:vPn1 = T1 * mvKeys1, vPn2 = T2 * mvKeys2 根据基础矩阵约束得到:(T2 * mvKeys2)^t* Hn * T1 * mvKeys1 = 0 ?进一步得到:mvKeys2^t * T2^t * Hn * T1 * mvKeys1 = 0
SVDSVD分解结果? ? ? ?假设我们使用8对点求解,A 是 8x9 矩阵,分解后 U 是左奇异向量,它是一个8x8的 正交矩阵, V 是右奇异向量,是一个 9x9 的正交矩阵, 是V的转置 D是一个8 x 9 对角矩阵,除了对角线其他元素均为0,对角线元素称为奇异值,一般来说奇异值是按照 从大到小的顺序降序排列。因为每个奇异值都是一个残差项,因此最后一个奇异值最小,其含义就是最 优的残差。因此其对应的奇异值向量就是最优值,即最优解。 中的每个列向量对应着D中的每个奇异值,最小二乘最优解就是 对应的第9个列向量,也就是基础 矩阵F的元素。这里我们先记做 Fpre,因为这个还不是最终的F ?F矩阵秩为2基础矩阵 F 有个很重要的性质,就是秩为2,可以进一步约束求解准确的F ,上面的方法使用 对应的第9个列向量构造的Fpre 秩通常不为2,我们可以继续进行SVD分解。 其最小奇异值人为置为0,这样F矩阵秩为2 此时的F就是最终得到的基础矩阵。? 使用opencv提供的进行奇异值分解的函数
四、对给定的homography matrix打分,需要使用到卡方检验的知识卡方检验为什么要引用卡方检验?以特定概率分布为某种情况建模时,事物长期结果较为稳定,能够清晰进行把握。比如抛硬币实验。 但是期望与事实存在差异怎么办?偏差是正常的小幅度波动?还是建模错误?此时,利用卡方分布分析 结果,排除可疑结果。 简单来说:当事实与期望不符合情况下使用卡方分布进行检验,看是否系统出了问题,还是属于正常波动 卡方分布用途检查实际结果与期望结果之间何时存在显著差异。 1、检验拟合程度:也就是说可以检验一组给定数据与指定分布的吻合程度。如:用它检验抽奖机收益的 观察频数与我们所期望的吻合程度。 2、检验两个变量的独立性:通过这个方法检查变量之间是否存在某种关系。 卡方分布假设检验步骤?1、确定要进行检验的假设(H0)及其备择假设H1. 2、求出期望E. 3、确定用于做决策的拒绝域(右尾). 4、根据自由度和显著性水平查询检验统计量临界值. 5、查看检验统计量是否在拒绝域内. 6、做出决策. 根据自由度和显著性水平查询检验统计量临界值 自由度的影响 自由度:用于计算检验统计量的独立变量的数目。 当自由度等于1或者2时:卡方分布先高后低的平滑曲线,检验统计量等于较小值的概率远远大于较大值 的概率,即观察频数有可能接近期望频数。 当自由度大于2时:卡方分布先低后高再低,其外形沿着正向扭曲,但当自由度很大时,图形接近正态分布。 自由度的计算, 对于单行或单列:自由度 = 组数-限制数 对于表格类:自由度 = (行数 - 1) * (列数 - 1)? 决策原则如果位于拒绝域内我们拒绝原假设H0,接受H1。 如果不在拒绝域内我们接受原假设H0,拒绝H1 检验统计量38.272 > 9.49 位于拒绝域内 于是拒绝原假设:抽奖机每局收益如何概率分布,也就是说抽奖机被人动了手脚 检验统计量拒绝域内外判定: 1、求出检验统计量a 2、通过自由度和显著性水平查到拒绝域临界值b 3、a>b则位于拒绝域内,反之,位于拒绝域外。
?五、从基础矩阵F中求解位姿R,t及三维点F分解出E,E有四组解,选择计算的有效三维点(在摄像头前方、投影误差小于阈值、视差角大于阈值)最多的作为最优的解 一些重要参数 @param[in] vbMatchesInliers 匹配好的特征点对的Inliers标记 * @param[in] F21 从参考帧到当前帧的基础矩阵 * @param[in] K 相机的内参数矩阵 * @param[in & out] R21 计算好的相机从参考帧到当前帧的旋转 * @param[in & out] t21 计算好的相机从参考帧到当前帧的平移 * @param[in & out] vP3D 三角化测量之后的特征点的空间坐标 * @param[in & out] vbTriangulated 特征点三角化成功的标志 * @param[in] minParallax 认为三角化有效的最小视差角 * @param[in] minTriangulated 最小三角化点数量 * @return true 成功初始化 * @return false 初始化失败 1、统计有效匹配点个数,并用 N 表示 2、根据基础矩阵和相机的内参数矩阵计算本质矩阵 定义本质矩阵分解结果,形成四组解,分别是: (R1, t) (R1, -t) (R2, t) (R2, -t) 3、从本质矩阵求解两个R解和两个t解,共四组解 4、分别验证求解的4种R和t的组合,选出最佳组合 六、用H矩阵恢复R, t和三维点H矩阵分解常见有两种方法:Faugeras SVD-based decomposition 和 Zhang SVD-based decomposition ,?代码使用了Faugeras SVD-based decomposition算法。 一些重要参数 * @param[in] vbMatchesInliers 匹配点对的内点标记 * @param[in] H21 从参考帧到当前帧的单应矩阵 * @param[in] K 相机的内参数矩阵 * @param[in & out] R21 计算出来的相机旋转 * @param[in & out] t21 计算出来的相机平移 * @param[in & out] vP3D 世界坐标系下,三角化测量特征点对之后得到的特征点的空间坐标 * @param[in & out] vbTriangulated 特征点是否成功三角化的标记 * @param[in] minParallax 对特征点的三角化测量中,认为其测量有效时需要满足的最小视差角(如果视差角过小则会引起非常大的观测误差),单位是角度 * @param[in] minTriangulated 为了进行运动恢复,所需要的最少的三角化测量成功的点个数 * @return true 单应矩阵成功计算出位姿和三维点 * @return false 初始化失败 坐标 流程:1. 根据H矩阵的奇异值d'= d2 或者 d' = -d2 分别计算 H 矩阵分解的 8 组解 1.1 讨论 d' > 0 时的 4 组解 1.2 讨论 d' < 0 时的 4 组解 2. 对 8 组解进行验证,并选择产生相机前方最多3D点的解为最优解 |
|
|
上一篇文章 下一篇文章 查看所有文章 |
|
开发:
C++知识库
Java知识库
JavaScript
Python
PHP知识库
人工智能
区块链
大数据
移动开发
嵌入式
开发工具
数据结构与算法
开发测试
游戏开发
网络协议
系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程 数码: 电脑 笔记本 显卡 显示器 固态硬盘 硬盘 耳机 手机 iphone vivo oppo 小米 华为 单反 装机 图拉丁 |
360图书馆 购物 三丰科技 阅读网 日历 万年历 2024年11日历 | -2024/11/26 2:00:11- |
|
网站联系: qq:121756557 email:121756557@qq.com IT数码 |