C++ OpenCV 图像拼接融合

企业开发 2023-08-01 17:17:24 阅读次数: 0

目录

一：需求分析

二：步骤详解

三：完整源码分享

四：多张图像拼接  Stitcher算法

一：需求分析

将下面两张图像进行拼接

 

拼接得到一张完整的图像

二：步骤详解

1.选择特征点

    //1、选择特征点
    //左图 右图 识别特征点 是Mat对象 用c d保存
    surf->detectAndCompute(left,Mat(),key2,d);
    surf->detectAndCompute(right,Mat(),key1,c);

    //特征点对比，保存   特征点为中心点区域比对
    vector<DMatch> matches;
    matcher.match(d,c,matches);

    //排序从小到大 找到特征点连线
    sort(matches.begin(),matches.end());

2.保存最优的特征点对象

    //2、保存最优的特征点对象
    vector<DMatch>good_matches;
    int ptrpoint = std::min(50,(int)(matches.size()*0.15));
    for (int i = 0;i < ptrpoint;i++)
    {
        good_matches.push_back(matches[i]);
    }

    //2-1、画线 最优的特征点对象连线
    Mat outimg;
    drawMatches(left,key2,right,key1,good_matches,outimg,
                Scalar::all(-1),Scalar::all(-1),
                vector<char>(),DrawMatchesFlags::NOT_DRAW_SINGLE_POINTS);

    //imshow("outimg",outimg);

3.特征点匹配

    //3、特征点匹配
    vector<Point2f>imagepoint1,imagepoint2;
    for (int i= 0 ;i < good_matches.size();i++)
    {
        //查找特征点可连接处                          变形
        imagepoint1.push_back(key1[good_matches[i].trainIdx].pt);
        //查找特征点可连接处                          查找基准线
        imagepoint2.push_back(key2[good_matches[i].queryIdx].pt);
    }

4.透视转换 图像融合

    //4、透视转换 图形融合
    Mat homo = findHomography(imagepoint1,imagepoint2,CV_RANSAC);
    //imshow("homo",homo);

    //根据透视转换矩阵进行计算 四个坐标
    CalcCorners(homo,right);

    //接收透视转换结果
    Mat imageTransForm;
    //透视转换
    warpPerspective(right,imageTransForm,homo,
                    Size(MAX(corners.right_top.x,corners.right_bottom.x),left.rows));

    //右图透视变换 由于本次图片材料是自己截图拼接的 因此看不出透视变换的明显特征
    //imshow("imageTransForm",imageTransForm);

    //结果进行整合
    int dst_width = imageTransForm.cols;
    int dst_height = left.rows;

    Mat dst(dst_height,dst_width,CV_8UC3);
    dst.setTo(0);

    imageTransForm.copyTo(dst(Rect(0,0,imageTransForm.cols,imageTransForm.rows)));
    left.copyTo(dst(Rect(0,0,left.cols,left.rows)));

右图的透视转换，由于图像材料是自己截图拼接的，因此看不出透视变换的明显特征，但根据上图可知已经做出透视变换图像处理操作

左图与右图的透视转换结果需要进行拼接

这里只是将窗口移动测试看下前面步骤是否正确(下图看出可以进行拼接操作)

可以进行接下来的图像融合操作

5.优化图像 进行最终的结果展示

    //5、优化图像
    OptimizeSeam(left,imageTransForm,dst);

    //最终图像拼接结果
    imshow("dst",dst);

初始两图像，进行拼接 

可以实现两张图像拼接融合

三：完整源码分享

#include <iostream>
#include <opencv2/opencv.hpp>
#include <opencv2/highgui.hpp>//图像融合
#include <opencv2/xfeatures2d.hpp>//拼接算法
#include <opencv2/calib3d.hpp>
#include <opencv2/imgproc.hpp>

using namespace std;
using namespace cv;
using namespace cv::xfeatures2d;

typedef struct
{
    Point2f left_top;
    Point2f left_bottom;
    Point2f right_top;
    Point2f right_bottom;
}four_corners_t;

four_corners_t corners;

void CalcCorners(const Mat& H, const Mat& src)
{
    double v2[] = { 0, 0, 1 };//左上角
    double v1[3];//变换后的坐标值
    Mat V2 = Mat(3, 1, CV_64FC1, v2);  //列向量
    Mat V1 = Mat(3, 1, CV_64FC1, v1);  //列向量

    V1 = H * V2;
    //左上角(0,0,1)
    cout << "V2: " << V2 << endl;
    cout << "V1: " << V1 << endl;
    corners.left_top.x = v1[0] / v1[2];
    corners.left_top.y = v1[1] / v1[2];

    //左下角(0,src.rows,1)
    v2[0] = 0;
    v2[1] = src.rows;
    v2[2] = 1;
    V2 = Mat(3, 1, CV_64FC1, v2);  //列向量
    V1 = Mat(3, 1, CV_64FC1, v1);  //列向量
    V1 = H * V2;
    corners.left_bottom.x = v1[0] / v1[2];
    corners.left_bottom.y = v1[1] / v1[2];

    //右上角(src.cols,0,1)
    v2[0] = src.cols;
    v2[1] = 0;
    v2[2] = 1;
    V2 = Mat(3, 1, CV_64FC1, v2);  //列向量
    V1 = Mat(3, 1, CV_64FC1, v1);  //列向量
    V1 = H * V2;
    corners.right_top.x = v1[0] / v1[2];
    corners.right_top.y = v1[1] / v1[2];

    //右下角(src.cols,src.rows,1)
    v2[0] = src.cols;
    v2[1] = src.rows;
    v2[2] = 1;
    V2 = Mat(3, 1, CV_64FC1, v2);  //列向量
    V1 = Mat(3, 1, CV_64FC1, v1);  //列向量
    V1 = H * V2;
    corners.right_bottom.x = v1[0] / v1[2];
    corners.right_bottom.y = v1[1] / v1[2];

}

//图像融合的去裂缝处理操作
void OptimizeSeam(Mat& img1, Mat& trans, Mat& dst)
{
    int start = MIN(corners.left_top.x, corners.left_bottom.x);//开始位置，即重叠区域的左边界

    double processWidth = img1.cols - start;//重叠区域的宽度
    int rows = dst.rows;
    int cols = img1.cols; //注意，是列数*通道数
    double alpha = 1;//img1中像素的权重
    for (int i = 0; i < rows; i++)
    {
        uchar* p = img1.ptr<uchar>(i);  //获取第i行的首地址
        uchar* t = trans.ptr<uchar>(i);
        uchar* d = dst.ptr<uchar>(i);
        for (int j = start; j < cols; j++)
        {
            //如果遇到图像trans中无像素的黑点，则完全拷贝img1中的数据
            if (t[j * 3] == 0 && t[j * 3 + 1] == 0 && t[j * 3 + 2] == 0)
            {
                alpha = 1;
            }
            else
            {
                //img1中像素的权重，与当前处理点距重叠区域左边界的距离成正比，实验证明，这种方法确实好
                alpha = (processWidth - (j - start)) / processWidth;
            }

            d[j * 3] = p[j * 3] * alpha + t[j * 3] * (1 - alpha);
            d[j * 3 + 1] = p[j * 3 + 1] * alpha + t[j * 3 + 1] * (1 - alpha);
            d[j * 3 + 2] = p[j * 3 + 2] * alpha + t[j * 3 + 2] * (1 - alpha);

        }
    }
}

int main()
{
    //左图
    Mat left = imread("D:/00000000000003jieduanshipincailliao/a1.png");
    //右图
    Mat right = imread("D:/00000000000003jieduanshipincailliao/a2.png");

    //左右图显示
    imshow("left",left);
    imshow("right",right);

    //创建SURF对象
    Ptr<SURF> surf;
    //create 函数参数 海森矩阵阀值 800特征点以内
    surf = SURF::create(800);

    //创建一个暴力匹配器 用于特征点匹配
    BFMatcher matcher;

    //特征点容器 存放特征点KeyPoint
    vector<KeyPoint>key1,key2;
    //保存特征点
    Mat c,d;

    //1、选择特征点
    //左图 右图 识别特征点 是Mat对象 用c d保存
    surf->detectAndCompute(left,Mat(),key2,d);
    surf->detectAndCompute(right,Mat(),key1,c);

    //特征点对比，保存   特征点为中心点区域比对
    vector<DMatch> matches;
    matcher.match(d,c,matches);

    //排序从小到大 找到特征点连线
    sort(matches.begin(),matches.end());

    //2、保存最优的特征点对象
    vector<DMatch>good_matches;
    int ptrpoint = std::min(50,(int)(matches.size()*0.15));
    for (int i = 0;i < ptrpoint;i++)
    {
        good_matches.push_back(matches[i]);
    }

    //2-1、画线 最优的特征点对象连线
    Mat outimg;
    drawMatches(left,key2,right,key1,good_matches,outimg,
                Scalar::all(-1),Scalar::all(-1),
                vector<char>(),DrawMatchesFlags::NOT_DRAW_SINGLE_POINTS);

    //imshow("outimg",outimg);

    //3、特征点匹配
    vector<Point2f>imagepoint1,imagepoint2;
    for (int i= 0 ;i < good_matches.size();i++)
    {
        //查找特征点可连接处                          变形
        imagepoint1.push_back(key1[good_matches[i].trainIdx].pt);
        //查找特征点可连接处                          查找基准线
        imagepoint2.push_back(key2[good_matches[i].queryIdx].pt);
    }

    //4、透视转换 图形融合
    Mat homo = findHomography(imagepoint1,imagepoint2,CV_RANSAC);
    //imshow("homo",homo);

    //根据透视转换矩阵进行计算 四个坐标
    CalcCorners(homo,right);

    //接收透视转换结果
    Mat imageTransForm;
    //透视转换
    warpPerspective(right,imageTransForm,homo,
                    Size(MAX(corners.right_top.x,corners.right_bottom.x),left.rows));

    //右图透视变换 由于本次图片材料是自己截图拼接的 因此看不出透视变换的明显特征
    //imshow("imageTransForm",imageTransForm);

    //结果进行整合
    int dst_width = imageTransForm.cols;
    int dst_height = left.rows;

    Mat dst(dst_height,dst_width,CV_8UC3);
    dst.setTo(0);

    imageTransForm.copyTo(dst(Rect(0,0,imageTransForm.cols,imageTransForm.rows)));
    left.copyTo(dst(Rect(0,0,left.cols,left.rows)));

    //5、优化图像
    OptimizeSeam(left,imageTransForm,dst);

    //最终图像拼接结果
    imshow("dst",dst);

    waitKey(0);

    return 0;
}

四：多张图像拼接  Stitcher算法

如下四张图片拼接，

可使用Stitcher算法【多张图片拼接】

完整源码分享

#include <iostream>
#include <opencv2/opencv.hpp>
#include <opencv2/highgui.hpp>//图像融合
#include <opencv2/xfeatures2d.hpp>//拼接算法
#include <opencv2/calib3d.hpp>
#include <opencv2/imgproc.hpp>

using namespace std;
using namespace cv;
using namespace cv::xfeatures2d;

void example()
{
    Mat img1 = imread("D:/00000000000003jieduanshipincailliao/b1.png");
    Mat img2 = imread("D:/00000000000003jieduanshipincailliao/b2.png");
    Mat img3 = imread("D:/00000000000003jieduanshipincailliao/b3.png");
    Mat img4 = imread("D:/00000000000003jieduanshipincailliao/b4.png");

    imshow("img1",img1);
    imshow("img2",img2);
    imshow("img3",img3);
    imshow("img4",img4);

    //带顺序容器vector
    vector<Mat>images;
    images.push_back(img1);
    images.push_back(img2);
    images.push_back(img3);
    images.push_back(img4);

    //用来保存最终拼接图
    Mat result;

    //false 不使用GPU加速
    Stitcher sti = Stitcher::createDefault(false);
    //将向量容器中所有的图片按照顺序进行拼接，结果保存在result中
    Stitcher::Status sta = sti.stitch(images,result);

    if(sta != Stitcher::OK)
    {
        cout<<"canot Stitcher"<<endl;
    }

    imshow("result",result);

    waitKey(0);
}

int main()
{
    example();
    return 0;
}

多张图像拼接

效果展示 

猜你喜欢

转载自blog.csdn.net/m0_56051805/article/details/126145826#comments_27668975
今日推荐
TIOBE 5 月榜单：Fortran “复活”进入 Top 10
GCC 14.1 发布
面壁智能发布 Eurux-8x22B 开源大模型 —— 堪称「理科状元」
开源日报 | 谷歌扶持鸿蒙上位；开源Rabbit R1；Docker加持的安卓手机；微软的焦虑和野心；海尔电器把开放平台关了
中国码农的“35岁魔咒”
蘭雅 CorelDRAW 插件 2024.5.1 国际劳动节版，免费下载
Arc Browser for Windows 1.0 正式 GA
90后程序员开发视频搬运软件、不到一年获利超 700 万，结局很刑！
周排行
Java自定义时间格式
同步整形电路
在开发中最最最常用的字符串的属性大集合
Linux 查看端口占用并杀掉
Java基础四：ArrayList
多线程之死锁就是这么简单
mysql 基础命令集
awk 命令详解
Centos6.3编译安装nginx+php步骤
OCR （Optical Character Recognition，光学字符识别）
每日归档
更多
2024-05-08(42)
2024-05-07(14)
2024-05-06(40)
2024-05-05(0)
2024-05-04(7)
2024-05-03(19)
2024-05-02(0)
2024-05-01(4)
2024-04-30(1)
2024-04-29(40)

代码天地 © 2018 codetd.com

境外服务器   最新电视剧2022