一、前言
?? 图像拼接（Image Stitching）是一种利用实景图像组成全景空间的技术，它将多幅图像拼接成一幅大尺度图像或360°全景图，可视作场景重建的一种特殊情况，其中图像仅通过平面单应性进行关联。图像拼接在运动检测和跟踪，增强现实，分辨率增强，视频压缩和图像稳定等机器视觉领域有很大的应用。
??图像拼接的输出是两个输入图像的并集。
输入图像
特征点提取
特征点匹配
图像配准
投影变换
拼缝计算
图像融合
生成全景图
1、特征点提取（Feature Extraction）：检测输入图像中的特征点。
2、图像配准（Image Registration）：建立了图像之间的集合对应关系，使它们可在一个共同的参照系中进行变换、比较和分析。
3、投影变换（Warping）：将其中一幅图像的图像重投影，并将图像放置在更大的画布上。
4、图像融合（Blending）：通过改变边界附近的图像灰度级，去除这些缝隙，创建混合图像，从而在图像之间实现平滑过渡。混合模式（Blending Modes）用于将两层融合到一起。
二、实现方法
基于SURF的图像拼接
??用SIFT算法来实现图像拼接是很常用的方法，但是因为SIFT计算量很大，所以在速度要求很高的场合下不再适用。所以，它的改进方法SURF因为在速度方面有了明显的提高（速度是SIFT的3倍），所以在图像拼接领域还是大有作为。虽说SURF精确度和稳定性不及SIFT，但是其综合能力还是优越一些。下面将详细介绍拼接的主要步骤。
1.特征点提取和匹配
//创建SURF对象
//create 参数 海森矩阵阈值
Ptr<SURF> surf;
surf = SURF::create(800);
//暴力匹配器
BFMatcher matcher;
vector<KeyPoint> key1, key2;
Mat c, d;
//寻找特征点
surf->detectAndCompute(left, Mat(), key2, d);
surf->detectAndCompute(right, Mat(), key1, c);
//特征点对比 保存
vector<DMatch>matches;
//使用暴力匹配器匹配特征点 保存
matcher.match(d, c, matches);
//排序 从小到大
sort(matches.begin(), matches.end());
//保留最优的特征点收集
vector<DMatch>good_matches;
int ptrPoint = std::min(50, (int)(matches.size()*0.15));
for(int i=0; i<ptrPoint; i++)
good_matches.push_back(matches[i]);
//最佳匹配的特征点连成一线
Mat outimg;
drawMatches(left, key2, right, key1, good_matches, outimg,
Scalar::all(-1), Scalar::all(-1),
vector<char>(), DrawMatchesFlags::NOT_DRAW_SINGLE_POINTS);
imshow("outimg", outimg);
2.图像配准
??这样子就得到了两幅待拼接图的匹配点集，接下来进行图像的配准，即将两张图像转换为同一坐标下，这里需要使用findHomography函数来求得变换矩阵。
??但是需要注意的是，findHomography函数所要用到的点集是Point2f类型的，所以需要对刚得到的点集good_matches再做一次处理，使其转换为Point2f类型的点集。
//特征点配准
vector<Point2f>imagepoint1, imagepoint2;
for(int i=0; i<good_matches.size(); i++)
{
imagepoint1.push_back(key1[good_matches[i].trainIdx].pt);
imagepoint2.push_back(key2[good_matches[i].queryIdx].pt);
}
??上述操作后，用imagepoint1, imagepoint2去求变换矩阵，并且实现图像配准。
??值得注意的是findHomography函数的参数中选择CV_RANSAC。使用RANSAC算法继续筛选可靠地匹配点，这使得匹配点解更为精确。
//透视转换
Mat homo = findHomography(imagepoint1, imagepoint2, CV_RANSAC);
imshow("homo", homo);
//右图四个顶点坐标转换计算
CalcCorners(homo, right);
Mat imageTransform;
warpPerspective(right, imageTransform, homo,
Size(MAX(corners.right_top.x, corners.right_bottom.x), left.rows));
imshow("imageTransform", imageTransform);
3.图像拷贝
拷贝的思路很简单，就是将左图直接拷贝到配准图上就可以了。
int dst_width = imageTransform.cols;
int dst_height = imageTransform.rows;
Mat dst(dst_height, dst_width, CV_8UC3);
dst.setTo(0);
imageTransform.copyTo(dst(Rect(0, 0, imageTransform.cols, imageTransform.rows)));
left.copyTo(dst(Rect(0, 0, left.cols, left.rows)));
4.图像融合（去裂缝处理）
OptimizeSeam(left, imageTransform, dst);
imshow("dst", dst);
waitKey(0);
//优化两图的连接处，使得拼接自然
void OptimizeSeam(Mat& img1, Mat& trans, Mat& dst)
{
int start = MIN(corners.left_top.x, corners.left_bottom.x);//开始位置，即重叠区域的左边界
double processWidth = img1.cols - start;//重叠区域的宽度
int rows = dst.rows;
int cols = img1.cols; //注意，是列数*通道数
double alpha = 1;//img1中像素的权重
for (int i = 0; i < rows; i++)
{
uchar* p = img1.ptr<uchar>(i); //获取第i行的首地址
uchar* t = trans.ptr<uchar>(i);
uchar* d = dst.ptr<uchar>(i);
for (int j = start; j < cols; j++)
{
//如果遇到图像trans中无像素的黑点，则完全拷贝img1中的数据
if (t[j * 3] == 0 && t[j * 3 + 1] == 0 && t[j * 3 + 2] == 0)
{
alpha = 1;
}
else
{
//img1中像素的权重，与当前处理点距重叠区域左边界的距离成正比，实验证明，这种方法确实好
alpha = (processWidth - (j - start)) / processWidth;
}
d[j * 3] = p[j * 3] * alpha + t[j * 3] * (1 - alpha);
d[j * 3 + 1] = p[j * 3 + 1] * alpha + t[j * 3 + 1] * (1 - alpha);
d[j * 3 + 2] = p[j * 3 + 2] * alpha + t[j * 3 + 2] * (1 - alpha);
}
}
}
三、完整代码
#include <iostream>
#include <opencv2/opencv.hpp>
#include <opencv2/highgui.hpp>
#include <opencv2/xfeatures2d.hpp>
#include <opencv2/calib3d.hpp>
#include <opencv2/imgproc.hpp>
using namespace std;
using namespace cv;
using namespace cv::xfeatures2d;
typedef struct
{
Point2f left_top;
Point2f left_bottom;
Point2f right_top;
Point2f right_bottom;
}four_corners_t;
four_corners_t corners;
void CalcCorners(const Mat& H, const Mat& src)
{
double v2[] = { 0, 0, 1 };//左上角
double v1[3];//变换后的坐标值
Mat V2 = Mat(3, 1, CV_64FC1, v2); //列向量
Mat V1 = Mat(3, 1, CV_64FC1, v1); //列向量
V1 = H * V2;
//左上角(0,0,1)
cout << "V2: " << V2 << endl;
cout << "V1: " << V1 << endl;
corners.left_top.x = v1[0] / v1[2];
corners.left_top.y = v1[1] / v1[2];
//左下角(0,src.rows,1)
v2[0] = 0;
v2[1] = src.rows;
v2[2] = 1;
V2 = Mat(3, 1, CV_64FC1, v2); //列向量
V1 = Mat(3, 1, CV_64FC1, v1); //列向量
V1 = H * V2;
corners.left_bottom.x = v1[0] / v1[2];
corners.left_bottom.y = v1[1] / v1[2];
//右上角(src.cols,0,1)
v2[0] = src.cols;
v2[1] = 0;
v2[2] = 1;
V2 = Mat(3, 1, CV_64FC1, v2); //列向量
V1 = Mat(3, 1, CV_64FC1, v1); //列向量
V1 = H * V2;
corners.right_top.x = v1[0] / v1[2];
corners.right_top.y = v1[1] / v1[2];
//右下角(src.cols,src.rows,1)
v2[0] = src.cols;
v2[1] = src.rows;
v2[2] = 1;
V2 = Mat(3, 1, CV_64FC1, v2); //列向量
V1 = Mat(3, 1, CV_64FC1, v1); //列向量
V1 = H * V2;
corners.right_bottom.x = v1[0] / v1[2];
corners.right_bottom.y = v1[1] / v1[2];
}
//优化两图的连接处，使得拼接自然
void OptimizeSeam(Mat& img1, Mat& trans, Mat& dst)
{
int start = MIN(corners.left_top.x, corners.left_bottom.x);//开始位置，即重叠区域的左边界
double processWidth = img1.cols - start;//重叠区域的宽度
int rows = dst.rows;
int cols = img1.cols; //注意，是列数*通道数
double alpha = 1;//img1中像素的权重
for (int i = 0; i < rows; i++)
{
uchar* p = img1.ptr<uchar>(i); //获取第i行的首地址
uchar* t = trans.ptr<uchar>(i);
uchar* d = dst.ptr<uchar>(i);
for (int j = start; j < cols; j++)
{
//如果遇到图像trans中无像素的黑点，则完全拷贝img1中的数据
if (t[j * 3] == 0 && t[j * 3 + 1] == 0 && t[j * 3 + 2] == 0)
{
alpha = 1;
}
else
{
//img1中像素的权重，与当前处理点距重叠区域左边界的距离成正比，实验证明，这种方法确实好
alpha = (processWidth - (j - start)) / processWidth;
}
d[j * 3] = p[j * 3] * alpha + t[j * 3] * (1 - alpha);
d[j * 3 + 1] = p[j * 3 + 1] * alpha + t[j * 3 + 1] * (1 - alpha);
d[j * 3 + 2] = p[j * 3 + 2] * alpha + t[j * 3 + 2] * (1 - alpha);
}
}
}
//计算配准图的四个顶点坐标
int main()
{
Mat left = imread("A.jpg");
Mat right =imread("B.jpg");
imshow("left", left);
imshow("right", right);
//1.特征点提取和匹配
//创建SURF对象
//create 参数 海森矩阵阈值
Ptr<SURF> surf;
surf = SURF::create(800);
//暴力匹配器
BFMatcher matcher;
vector<KeyPoint> key1, key2;
Mat c, d;
//寻找特征点
surf->detectAndCompute(left, Mat(), key2, d);
surf->detectAndCompute(right, Mat(), key1, c);
//特征点对比 保存
vector<DMatch>matches;
//使用暴力匹配器匹配特征点 保存
matcher.match(d, c, matches);
//排序 从小到大
sort(matches.begin(), matches.end());
//保留最优的特征点收集
vector<DMatch>good_matches;
int ptrPoint = std::min(50, (int)(matches.size()*0.15));
for(int i=0; i<ptrPoint; i++)
good_matches.push_back(matches[i]);
//最佳匹配的特征点连成一线
Mat outimg;
drawMatches(left, key2, right, key1, good_matches, outimg,
Scalar::all(-1), Scalar::all(-1),
vector<char>(), DrawMatchesFlags::NOT_DRAW_SINGLE_POINTS);
imshow("outimg", outimg);
//2.图像配准
//特征点配准
vector<Point2f>imagepoint1, imagepoint2;
for(int i=0; i<good_matches.size(); i++)
{
imagepoint1.push_back(key1[good_matches[i].trainIdx].pt);
imagepoint2.push_back(key2[good_matches[i].queryIdx].pt);
}
//透视转换
Mat homo = findHomography(imagepoint1, imagepoint2, CV_RANSAC);
imshow("homo", homo);
//右图四个顶点坐标转换计算
CalcCorners(homo, right);
Mat imageTransform;
warpPerspective(right, imageTransform, homo,
Size(MAX(corners.right_top.x, corners.right_bottom.x), left.rows));
imshow("imageTransform", imageTransform);
//3.图像拷贝
int dst_width = imageTransform.cols;
int dst_height = imageTransform.rows;
Mat dst(dst_height, dst_width, CV_8UC3);
dst.setTo(0);
imageTransform.copyTo(dst(Rect(0, 0, imageTransform.cols, imageTransform.rows)));
left.copyTo(dst(Rect(0, 0, left.cols, left.rows)));
//4.优化拼接最终结果图，去除黑边
OptimizeSeam(left, imageTransform, dst);
imshow("dst", dst);
waitKey(0);
return 0;
}