Opencv（C++）学习系列---特征点检测和匹配

关于特征检测和匹配的具体原理会在后续的文章中具体讲解，本文主要介绍Opencv实现的简单过程：
第一步：定义特征检测器（SIFT,SURF,ORB等）。

第二步：对图像中特征点进行检测，并将特征点存储在Keypoints中。

第三步：提取特征点的描述信息。

第四步：定义特征匹配器（特征匹配的方法主要有两种分别为暴力匹配BFmatch和FlannBased）。

第五步：过滤掉较差的匹配点位（一般根据临近两点的距离进行过滤）

主要是根据DMatch中的distance进行过滤，对于distance可以抽象理解为匹配的分值，distance越小说明检测点的相似度越高，效果越好。

第六步：对匹配的特征点显示。

代码1（未滤波，只限制筛选点数为20）

#include <iostream>
#include <opencv2/opencv.hpp>  
#include<opencv2\highgui\highgui.hpp>
#include<opencv2\imgproc\imgproc.hpp>
#include <opencv2/xfeatures2d.hpp>


using namespace cv;  //包含cv命名空间
using namespace std;
using namespace xfeatures2d;


int main() {

	system("color 2E");
	//载入图片
	Mat src1 = imread("E:\\乔大花进度\\11-18\\sift特征检测和匹配\\3.jpg",1);
	Mat src2 = imread("E:\\乔大花进度\\11-18\\sift特征检测和匹配\\4.jpg", 1);

	//显示原图
	imshow("原图1",src1);
	imshow("原图2", src2);

	//定义变量
	vector<KeyPoint> keypoints1, keypoints2;//定义检测的特征点存储容器
	Mat descriptors1,descriptors2;//定义特征点描述信息为Mat类型
	Mat result_img;//匹配结果图片

	//创建sift特征检测器实例
	//将SIFT可以换位SURF、ORB
	Ptr<SIFT>detector = SIFT::create();
	//提取特征点
	detector->detect(src1,keypoints1,noArray());
	detector->detect(src2, keypoints2, Mat());


	//获取特征点的描述信息=>特征向量
	detector->compute(src1,keypoints1,descriptors1);
	detector->compute(src2, keypoints2, descriptors2);


	//定义匹配器的实例化=>方法为暴力匹配法
	Ptr<DescriptorMatcher> matcher = DescriptorMatcher::create(DescriptorMatcher::BRUTEFORCE);//create中的参数可以填string FlannBased等匹配方法

	//第二种实例化方法
	//BFMatcher matcher;

	//进行暴力匹配
	vector<DMatch> matches;

	//第一个参数为queryDescription为目标，第二个参数为trainDescription模板
	matcher->match(descriptors1,descriptors2,matches);


	//限制特征点匹配数量=》只匹配前20个较好的特征点
	int num = 20;
	nth_element(matches.begin(), matches.begin()+num,matches.end());
	//vector去除20以后的元素
	matches.erase(matches.begin()+num,matches.end());
	

	//输出关键点和匹配结果
	//其中右侧图为trainDescription模板，左侧图为queryDescription目标
	//左图中的点与右图中进行匹配对应
	drawMatches(src1,keypoints1,src2,keypoints2, matches,result_img);
	drawKeypoints(src1,keypoints1,src1);
	drawKeypoints(src2,keypoints2,src2);
	
	imshow("匹配结果",result_img);
	imshow("特征点1",src1);
	imshow("特征点2",src2);

	waitKey(0);
	system("pause");
	return 0;
}

运行结果为：

代码2（通过距离进行滤波）

#include <iostream>
#include <opencv2/opencv.hpp>  
#include<opencv2\highgui\highgui.hpp>
#include<opencv2\imgproc\imgproc.hpp>
#include <opencv2/xfeatures2d.hpp>


using namespace cv;  //包含cv命名空间
using namespace std;
using namespace xfeatures2d;


int main() {

	system("color 2E");
	//载入图片
	Mat src1 = imread("E:\\乔大花进度\\11-18\\sift特征检测和匹配\\3.jpg",1);
	Mat src2 = imread("E:\\乔大花进度\\11-18\\sift特征检测和匹配\\4.jpg", 1);

	//显示原图
	imshow("原图1",src1);
	imshow("原图2", src2);

	//定义变量
	vector<KeyPoint> keypoints1, keypoints2;//定义检测的特征点存储容器
	Mat descriptors1,descriptors2;//定义特征点描述信息为Mat类型
	Mat result_img;//匹配结果图片

	//创建sift特征检测器实例
	//将SIFT可以换位SURF、ORB
	Ptr<SIFT>detector = SIFT::create();
	//提取特征点
	detector->detect(src1,keypoints1,noArray());
	detector->detect(src2, keypoints2, Mat());


	//获取特征点的描述信息=>特征向量
	detector->compute(src1,keypoints1,descriptors1);
	detector->compute(src2, keypoints2, descriptors2);


	//定义匹配器的实例化=>方法为暴力匹配法
	Ptr<DescriptorMatcher> matcher = DescriptorMatcher::create(DescriptorMatcher::BRUTEFORCE);//create中的参数可以填string FlannBased等匹配方法

	//第二种实例化方法
	//BFMatcher matcher;

	//进行暴力匹配
	vector<DMatch> matches;

	//第一个参数为queryDescription为目标，第二个参数为trainDescription模板
	matcher->match(descriptors1,descriptors2,matches);


	//限制特征点匹配数量=》只匹配前20个较好的特征点
	int num = 20;
	nth_element(matches.begin(), matches.begin()+num,matches.end());
	//vector去除20以后的元素
	matches.erase(matches.begin()+num,matches.end());
	
	double Max_distance = matches[1].distance;
	double Min_distance = matches[1].distance;
	vector<DMatch> goodfeatrues;
	
	//根据特征点的距离去筛选
	for (int i = 0; i < matches.size(); i++)
	{
		double dist = matches[i].distance;
		if (dist>Max_distance)
		{
			Max_distance = dist;
		}
		if (dist<Min_distance)
		{
			Min_distance = dist;
		}
		
	}

	cout << "匹配点的最大距离：" << Max_distance << endl;
	cout << "匹配点的最小距离：" << Min_distance << endl;

	//M为距离阈值，M越大点数越多
	double M = 1.3;
	for (int  i = 0; i < matches.size(); i++)
	{
		double dist = matches[i].distance;
		if (dist<M*Min_distance)		{
			goodfeatrues.push_back(matches[i]);
		}
	}
	cout << "最终选取特征点的数量为：" << matches.size() << endl;

	//输出关键点和匹配结果
	//其中右侧图为trainDescription模板，左侧图为queryDescription目标
	//左图中的点与右图中进行匹配对应
	drawMatches(src1,keypoints1,src2,keypoints2, goodfeatrues,result_img);
	drawKeypoints(src1,keypoints1,src1);
	drawKeypoints(src2,keypoints2,src2);
	
	imshow("匹配结果",result_img);
	imshow("特征点1",src1);
	imshow("特征点2",src2);

	waitKey(0);
	system("pause");
	return 0;
}

运行结果为：

 代码3（通过knnMatch匹配，可以通过对distance设置阈值进行滤波，效果最好）

#include <iostream>
#include <opencv2/opencv.hpp>  
#include<opencv2\highgui\highgui.hpp>
#include<opencv2\imgproc\imgproc.hpp>
#include <opencv2/xfeatures2d.hpp>


using namespace cv;  //包含cv命名空间
using namespace std;
using namespace xfeatures2d;


int main() {

	system("color 2E");
	//载入图片
	Mat src1 = imread("E:\\乔大花进度\\11-18\\sift特征检测和匹配\\3.jpg",1);
	Mat src2 = imread("E:\\乔大花进度\\11-18\\sift特征检测和匹配\\4.jpg", 1);

	//显示原图
	imshow("原图1",src1);
	imshow("原图2", src2);

	//定义变量
	vector<KeyPoint> keypoints1, keypoints2;//定义检测的特征点存储容器
	Mat descriptors1,descriptors2;//定义特征点描述信息为Mat类型
	Mat result_img;//匹配结果图片

	//创建sift特征检测器实例
	//将SIFT可以换位SURF、ORB
	Ptr<SIFT>detector = SIFT::create();
	//提取特征点
	detector->detect(src1,keypoints1,noArray());
	detector->detect(src2, keypoints2, Mat());


	//获取特征点的描述信息=>特征向量
	detector->compute(src1,keypoints1,descriptors1);
	detector->compute(src2, keypoints2, descriptors2);


	//定义匹配器的实例化=>方法为暴力匹配法
	Ptr<DescriptorMatcher> matcher = DescriptorMatcher::create(DescriptorMatcher::BRUTEFORCE);//create中的参数可以填string FlannBased等匹配方法

	//第二种实例化方法
	//BFMatcher matcher;

	//进行暴力匹配
	vector<DMatch> matches;

	vector<Mat>train_desc(1, descriptors2);
	matcher->add(train_desc);
	matcher->train();

	vector<vector<DMatch>> matchpoints;
	matcher->knnMatch(descriptors1,matchpoints,2);

	vector<DMatch> goodfeatur;
	for (int i = 0; i < matchpoints.size(); i++)
	{
		if (matchpoints[i][0].distance<0.15*matchpoints[i][1].distance)
		{
			goodfeatur.push_back(matchpoints[i][0]);
		}

	}
	cout << "筛选后的特征点数量为： " << goodfeatur.size() << endl;

	//输出关键点和匹配结果
	//其中右侧图为trainDescription模板，左侧图为queryDescription目标
	//左图中的点与右图中进行匹配对应
	drawMatches(src1,keypoints1,src2,keypoints2, goodfeatur,result_img);
	drawKeypoints(src1,keypoints1,src1);
	drawKeypoints(src2,keypoints2,src2);
	
	namedWindow("匹配结果",WINDOW_NORMAL);
	resizeWindow("匹配结果",500,500);
	imshow("匹配结果",result_img);

	waitKey(0);
	system("pause");
	return 0;
}

运行结果为：