[人工智能]【opencv学习】RANSAC算法在图像拼接中的应用实战

一：单应性变换

我们得到两张图像的图像后，可以通过BFMatcher得到匹配的点，其实就是一个暴力搜索来比较最相近的特征点（128维度的向量，求向量的近似度）。

通过匹配的多个关键点的配对信息，我们能将图像A转换到图像B的角度和size。这就可以用到单应性变换。

通过这个矩阵可以将原始图像A中的关键点变换到图像B，可以看到H矩阵很关键，H矩阵一共有8个未知参数，但是我们已经有大量的匹配的配对的关键点，因此我们可以通过8个式子的方程组求解H，因此至少需要4组配对值即可求解。

但是问题存在于，我们得到的匹配的关键点真的是最好的么？从上次学习的KNNMatcher可以得到，有的匹配点虽然很相近，但其实不是图像整体的透视变换下应该匹配到的，不符合整体变换规律，这些我们逻辑上认为错误的匹配对儿就是异常点了。

如果将图像A的关键点看做X，那么B图像的关键点就是Y，我们的H矩阵就是变换参数，我们现在得知了X和Y，求H，其实就是拟合的操作，上述可知，只要4对儿X和Y即可求得H，但是我们并不知道这4对儿中是否包含了异常点。因此传统的拟合方式可能并不是很适合。

那么这个异常点干扰拟合的方式怎么解决呢？

二：RANSAC（Random Sample consensus）介绍
也称之为随机抽样一致性算法，或者说是一种新的拟合思想。
它是解决什么问题呢？如下，我们需要拟合一堆离散点，使用传统的最小二乘法去拟合的话，就会尽量的去拟合所有的点，照顾到所有的点（包括异常点），这样难免结果会有偏差。

RANSAC算法的思路就是，我随机找到一些部分点来提前拟合出拟合函数的参数，如果是拟合直线，那么最少需要俩个点，如果是需要抛物线，则最少需要是三个点。
1：随机找能求出参数的最少的点，拟合出参数H，设置一个误差阈值，得到了一个拟合函数，统计在误差范围内的点的个数。
2：循环步骤一
3：比较所有的H，找到允许误差范围内能包含最多的点个数的H。这个H就是我们期望的H。

效果差异如下图所示：绿色线是RANSAC算法的拟合结果，红色线是普通的最小二乘拟合。

但是RANSAC算法的效果受到多种因素影响
1：每一次选取的点的个数，直线需要2个点，二次曲线需要3个点，三次曲线需要4个点。一般来说，Nums少一些易得出较优结果
2：迭代次数，迭代次数太多导致计算量大，太少了容易得不到好的结果。
3：允许的误差范围阈值。

RANSAC的作用有点类似：将数据一切两段，一部分是自己人（在范围阈值内），一部分是敌人（范围阈值内），自己人留下商量事情但是得统计多少是自己人，敌人赶出去。RANSAC开的是家庭会议，不像最小二乘总是开全体会议，得照顾全部人的诉求。

该算法的作用就是可以用于图像的拼接。

下面我將举个实际的图像拼接的例子

import cv2
import numpy as np


def cv_show_image(name, img):
    print(img.shape)
    cv2.imshow(name, img)
    cv2.waitKey(0)  # 等待时间，单位是毫秒，0代表任意键终止
    cv2.destroyAllWindows()


def matchKeyPoints(bf, kptA, dpA, kptB, dpB):
    src_matches = bf.knnMatch(dpA, dpB, k=2)

    # 完了后需要做个过滤
    good_pts = []
    for res in src_matches:
        if len(res) == 2:
            m, n = res  # 单个点可以取出多个匹配结果。
            # 每一个匹配结果都是包含了三个主要信息，
            # distance: 匹配度，欧氏距离度量的
            # trainIdx: 图像A的关键点下标编号，也就是第几个关键点，数组下标
            # queryIdx: 图像B的关键点下标编号，也就是第几个关键点，数组下标
            if m.distance < 0.75 * n.distance:
                # 每个元素保存的是图像A的关键点, 和图像B的关键点
                good_pts.append((m.trainIdx, m.queryIdx))

    if len(good_pts) > 4:
        pts_src = np.float32([kptA[j] for (_, j) in good_pts])  # 获得对应的真实的关键点的位置数值
        print(pts_src.shape)
        pts_dst = np.float32([kptB[i] for (i, _) in good_pts])  # 获得对应的真实的关键点的位置数值
        print(pts_dst.shape)

        # 这个函数是将 RANSAC 算法融合在内了，拟合方式选择的是cv2.RANSAC，允许的误差阈值是4
        H, status = cv2.findHomography(pts_src, pts_dst, cv2.RANSAC, ransacReprojThreshold=4.0)
        return H

    return None

def detectKeyPoints(sift, img):
    kps, dps = sift.detectAndCompute(img, None)
    kpts = np.float32([kp.pt for kp in kps])  # 直接取所有的位置信息即可，放在list，因为这个才是我们要用的
    print(np.array(kps).shape)
    print(dps.shape)
    return kpts, dps


if __name__ == '__main__':
    imgA_SRC = cv2.imread('images/IMG_20220309_205431.jpg')
    imgB_SRC = cv2.imread('images/IMG_20220309_205437.jpg')

    # cv_show_image('imgA_SRC', imgA_SRC)
    # cv_show_image('imgB_SRC', imgB_SRC)

    # 第一步：先读取俩图片
    imgA = cv2.cvtColor(imgA_SRC, cv2.COLOR_BGR2GRAY)
    h_A, w_A = imgA.shape
    imgB = cv2.cvtColor(imgB_SRC, cv2.COLOR_BGR2GRAY)
    h_B, w_B = imgB.shape

    # 第二步：计算各个图像的关键点信息和特征描述信息
    sift = cv2.xfeatures2d.SIFT_create()
    kptA, dpA = detectKeyPoints(sift, imgA)
    kptB, dpB = detectKeyPoints(sift, imgB)

    # 第三步：进行特征匹配
    bf = cv2.BFMatcher()
    homography = matchKeyPoints(bf, kptA, dpA, kptB, dpB)
    if homography is None:
        print("not find homography Matrix..., these two images are not matched.")
        exit(1)

    # 第四步：对图像进行变换
    im_out = cv2.warpPerspective(imgA_SRC, homography, (w_A + w_B, h_A))
    cv_show_image('im_out', im_out)

    # 第五步骤，图像拼接
    im_out[0: h_B, 0: w_B, :] = imgB_SRC
    # im_out = template_img = cv2.resize(im_out, (900, 430))
    cv_show_image('im_out', im_out)

原图1：
原图2：

将图像1进行单应性变换得：

最后俩图像拼接的结果是：