注释:本文翻译自OpenCV3.0.0 document->OpenCV-Python Tutorials,包括对原文档种错误代码的纠正
1.概述
现在我们知道特征匹配,让我们把它和calib3d模块混合起来,找到复杂图像中的对象
2.目标
在这一章中,我们将混合来自calib3d模块的特征匹配和findHomography,以在复杂图像中查找一直对象。
3.基础
那么我们在上一章节做了什么?我们使用一个queryImage,在其中找到了一些特征点,我们又拍了一个trainImage,在那张图片中找到了特征,我们找到了它们中最好的匹配。简而言之,我们在另一个混乱的图像中发现了一个物体某些部分的位置。该信息足以在trainImage上准确找到对象。
为此,我们可以使用calib3d模块中的一个函数,即cv2.findHomography()。如果我们通过这两个图像中的一组点,它将找到该对象中的每个变换。然后我们可以使用cv2.perspectiveTransform()来查找对象。它需要至少四个正确的点来找到转换。
我们已经看到,匹配时可能会出现一些可能的错误,这可能会影响结果。为了解决这个问题,算法使用RANSAC或LEAST_MEDIAN(可以由标志决定)。所以提供正确估计的好匹配被称为内点,其余称为离群点。cv2.findHomography()返回一个指定内点和外点的掩码。
let do it!
4.代码
扫描二维码关注公众号,回复:
1463534 查看本文章
首先,像往常一样,在图像中找到SIFT特征,并应用比率测试来查找最佳匹配。
# -*- coding: utf-8 -*- ''' 特征匹配和Homography查找对象: 1.将特征匹配和calib3d模块混合起来,找到复杂图像中的对象。 2.将来自calib3d模块的特征匹配和findHomography 3.可以使用cv2.findHomography()。如果找到这两个图像中的一组点,它将找到该对象的每个变换。 4.然后使用cv2.perspectTransform()来查找对象。它至少需要四个正确的点来找到转换。 5.匹配的时候可能会有一丢丢错误。 栗子: ''' import cv2 import numpy as np from matplotlib import pyplot as plt MIN_MATCH_COUNT = 10 img1 = cv2.imread('box.png', 0) # 查询图片 img2 = cv2.imread('box_in_scene.png', 0) # 训练图片 # 初始化SIFT探测器 sift = cv2.xfeatures2d.SIFT_create() # 用SIFT找到关键点和描述符 kp1, des1 = sift.detectAndCompute(img1, None) kp2, des2 = sift.detectAndCompute(img2, None) FLANN_INDEX_KDTREE = 0 index_params = dict(algorithm=FLANN_INDEX_KDTREE, trees=5) search_params = dict(checks=50) flann = cv2.FlannBasedMatcher(index_params, search_params) matches = flann.knnMatch(des1, des2, k=2) good = [] for m, n in matches: if m.distance < 0.7 * n.distance: good.append(m) ''' 现在我们设置一个条件,即至少10个匹配(由MIN_MATCH_COUNT定义)将在那里以找到该对象。 否则,只需显示一条消息,说明没有足够的匹配。 如果找到足够的匹配,我们将提取两个图像中匹配关键点的位置。 他们通过寻找这种转变。 一旦我们得到这个3x3转换矩阵, 我们就用它来将queryImage的角点转换成trainImage中相应的点。 然后我们绘制它。 ''' if len(good) > MIN_MATCH_COUNT: src_pts = np.float32([kp1[m.queryIdx].pt for m in good]).reshape(-1, 1, 2) dst_pts = np.float32([kp2[m.trainIdx].pt for m in good]).reshape(-1, 1, 2) M, mask = cv2.findHomography(src_pts, dst_pts, cv2.RANSAC, 5.0) matchesMask = mask.ravel().tolist() h, w = img1.shape pts = np.float32([[0, 0], [0, h - 1], [w - 1, h - 1], [w - 1, 0]]).reshape(-1, 1, 2) dst = cv2.perspectiveTransform(pts, M) img2 = cv2.polylines(img2, [np.int32(dst)], True, 255, 3, cv2.LINE_AA) else: print("Not enough matches are found", (len(good), MIN_MATCH_COUNT)) matchesMask = None # 最后绘制内点(如果成功找到对象)或匹配关键点(如果失败) draw_params = dict(matchColor=(0, 255, 0), singlePointColor=None, matchesMask=matchesMask, flags=2) img3 = cv2.drawMatches(img1, kp1, img2, kp2, good, None, **draw_params) plt.imshow(img3, 'gray'), plt.show()
结果: