?? 本文主要介绍特征点检测和特征描述子匹配，同时利用描述子匹配进行对已知对象的定位，具体的内容可以参考下文~

目录

• ORB FAST特征关键点检测
• SIFT 特征关键点检测
• 特征描述子匹配
• 基于描述子匹配的已知对象定位

ORB FAST特征关键点检测

概述

?? ORB - (Oriented Fast and Rotated BRIEF)算法是基于FAST特征检测与BRIEF特征描述子匹配实现。

?? 相比BRIEF算法中依靠随机方式获取而值点对，ORB通过FAST方法，FAST方式寻找候选特征点方式是假设灰度图像像素点A周围的像素存在连续大于或者小于A的灰度值，选择任意一个像素点P，假设半径为3，周围16个像素表示，如下图：

如上图，像素点P被标记为候选特征点、通常N取值为9、12，上图N=9。为了简化计算，我们可以只计算1、9、5、13四个点，至少其中三个点满足上述不等式条件，即可将P视为候选点。通过阈值进行最终的筛选即可得到ORB特征点。

函数

orb = cv2.ORB_create(
    nfeatures = 500,
	scaleFactor = 1.2f,
	nlevels = 8,
	edgeThreshold = 31,
	firstLevel = 0,
	WTA_K = 2,
	scoreType = HARRIS_SCORE,
	patchSize = 31,
	fastThreshold = 20 )

输入

• nfeatures --> 最终输出最大特征点数目；
• scaleFactor --> 金字塔图像上采样比率；
• nlevels --> 高斯金字塔层数；
• edgeThreshold --> 边缘阈值；
• firstLevel= 0 --> 指定第一层的索引值；
• WTA_K --> 这个是跟BRIEF描述子用的；
• scoreType --> 对所有的特征点进行排名用的方法；
• patchSize --> 用于计算BRIEF描述子的特征点领域大小。

示例代码

import cv2 as cv
import numpy as np

src = cv.imread("test.jpg")
cv.namedWindow("input", cv.WINDOW_AUTOSIZE)
cv.imshow("input", src)
# 创建orb检测器
orb = cv.ORB_create()
kps = orb.detect(src)
# -1表示随机颜色
result = cv.drawKeypoints(src, kps, None, -1, cv.DrawMatchesFlags_DEFAULT)
cv.imshow("result", result)
cv.imwrite('orb_result.jpg', result)
cv.waitKey(0)
cv.destroyAllWindows()

SIFT 特征关键点检测

概述

?? SIFT特征是非常稳定的图像特征，在图像搜索、特征匹配、图像分类检测等方面应用十分广泛，但是它的缺点也是非常明显，就是计算量比较大，很难实时，所以对一些实时要求比较高的常见SIFT算法还是无法适用。

?? SIFT特征提取是图像特征提取中最经典的一个算法，归纳起来SIFT特征提取主要有如下几步：

• 构建高斯多尺度金字塔
• 关键点查找/过滤与精准定位
• 窗口区域角度方向直方图
• 描述子生成

函数

?? Opnecv中的函数使用方法和ORB完全一致，都是遵循下面的步骤

1. 创建对象
2. 通过detect方法提取对象关键点
3. 同drawKeypoints绘制关键点

?? 备注： 构建多尺度高斯金字塔 为了在每组图像中检测 S 个尺度的极值点，DoG 金字塔每组需 S+2 层图像，因为每组的第一层和最后一层图像上不能检测极值，DoG 金字塔由高斯金字塔相邻两层相减得到，则高斯金字塔每组最少需 S+3 层图像，实际计算时 S 通常在2到5之间。

Opencv 函数调用问题：

• 由于专利授权问题，该算法在扩展模块xfeature2d中，需要自己编译才可以使用，OpenCV Python中从3.4.2之后扩展模块也无法使用，需要自己单独编译python SDK才可以使用。
• 如果不想编译，可以把opencv降3.4.2版本，具体命令如下：

pip install opencv-python==3.4.2.16
pip install opencv-contrib-python==3.4.2.16
(如果contrib安装失败，则用)
pip install --user opencv-contrib-python==3.4.2.16

示例代码

# 创建ORB特征检测器
sift = cv.xfeatures2d.SIFT_create()
kp1, des1 = sift.detectAndCompute(box,None)
kp2, des2 = sift.detectAndCompute(box_in_sence,None)

# 暴力匹配
bf = cv.DescriptorMatcher_create(cv.DescriptorMatcher_BRUTEFORCE)
matches = bf.match(des1,des2)

# 绘制匹配
matches = sorted(matches, key = lambda x:x.distance)
result = cv.drawMatches(box, kp1, box_in_sence, kp2, matches[:15], None)

特征描述子匹配

概述

BRIEF特征提取：

?? BRIEF(Binary Robust Independent Elementary Features)，它提供了一种计算二值化的捷径，并不需要计算一个类似于SIFT的特征描述子。

?? 它需要先平滑图像，然后在特征点周围选择一个Patch，在这个Patch内通过一种选定的方法来挑选出来n个点对。然后对于每一个点对(p,q)，我们比较这两个点的亮度值，如果I(p)<I(q)，则对应在二值串中的值为1，否则为0,。所有n个点对，都进行比较之间，我们就生成了一个n长的二进制串。

?? n的取值通常为128、256或者512，得到二进制方式的字符串描述子之后，匹配就可以通过XOR方式矩形，计算汉明距离。

ORB特征提取：

?? ORB特征提取跟纯BRIEF特征提取相比较，BRIEF方式采用随机点方式得最终描述子、而ORB通过FAST得到特征点然后得到描述子。

描述子匹配

?? 图像特征检测首先会获取关键点，然后根据关键点周围像素ROI区域的大小，生成描述子，完整的描述子向量就表示了一张图像的特征，是图像特征数据，这种方式也被称为图像特征工程，即通过先验模型与合理计算得到图像特征数据的过程，有了特征数据我们就可以利用特征数据实现对象检测与对象识别，这个最简单一个方法就是特征匹配，OpenCV提供了两种图像特征匹配的算法

• 暴力匹配
• FLANN匹配

暴力匹配：

?? Brute-Force匹配器：cv2.BFMatcher(normType, crossCheck)

• normType - 指定要使用的距离量度,默认是cv2.NORM_L2,对于二进制字符串的描述子，比如ORB，BRIEF，BRISK等，应该用cv2.NORM_HAMMING；
• crossCheck - 默认是false，如果它是true，匹配器返回那些和(i, j)匹配的，这样集合A里的第i个描述子和集合B里的第j个描述子最匹配，两个集合里的两个特征应该互相匹配，它提供了连续的结果，

?? matches = bf.match(des1, des2)的结果是DMatch对象列表

这个DMatch对象有下面的属性：

• DMatch.distance - 描述子之间的距离。越低越好
• DMatch.trainIdx - 训练描述子里的描述子索引
• DMatch.queryIdx - 查询描述子里的描述子索引
• DMatch.imgIdx - 训练图像的索引

?? KNN匹配：matches = bf.knnMatch(des1, des2, k)

FLANN匹配：

• FLANN是快速最近邻搜索包（Fast_Library_for_Approximate_Nearest_Neighbors）的简称，它是一个对大数据集和高维特征进行最近邻搜索的算法的集合，而且这些算法都已经被优化过了，在面对大数据集是它的效果要好于BFMatcher。
• FLANN是一种高效的数值或者字符串匹配算法，SIFT/SURF是基于浮点数的匹配，ORB是二值匹配，速度更快。
• 对于FLANN匹配算法，当使用ORB匹配算法的时候，需要重新构造HASH。

flann = cv.FlannBasedMatcher(index_params, search_params)

• indexParams - 字典，包含各种算法，具体可参考FLANN文档。
• SearchParams - 字典，用来指定递归遍历的次数。值越高结果越准确，但是消耗的时间也越多，修改可以传入参数： search_params=dict( checks = 10)

示例代码

• 暴力匹配

import cv2 as cv

box = cv.imread("D:/vcprojects/data/box.png");
box_in_sence = cv.imread("D:/vcprojects/data/box_in_scene.png");
cv.imshow("box", box)
cv.imshow("box_in_sence", box_in_sence)

# 创建ORB特征检测器
orb = cv.ORB_create()
kp1, des1 = orb.detectAndCompute(box,None)
kp2, des2 = orb.detectAndCompute(box_in_sence,None)

# 暴力匹配 汉明距离匹配特征点
bf = cv.BFMatcher(cv.NORM_HAMMING, crossCheck=True)
matches = bf.match(des1,des2)

# 绘制匹配
result = cv.drawMatches(box, kp1, box_in_sence, kp2, matches, None)
cv.imshow("orb-match", result)
cv.waitKey(0)
cv.destroyAllWindows()

• KNN 匹配

修改部分代码如下：

bf = cv.BFMatcher(cv.NORM_HAMMING, crossCheck=True)
# knn match
matches = bf.knnMatch(des1, des2, k=1)

# 删除matches里面的空list，并且根据距离排序
while [] in matches:
    matches.remove([])
matches = sorted(matches, key = lambda x:x[0].distance)

# 画出距离最短的前15个点
result = cv.drawMatchesKnn(box, kp1, box_in_sence, kp2, matches[0:15], None, matchColor = (0,255,0), singlePointColor = (255,0,255))

• FLANN 匹配

这里采用sift特征检测器提取特征。

# 创建SIFT特征检测器
sift = cv.xfeatures2d.SIFT_create()

kp1, des1 = sift.detectAndCompute(box,None)
kp2, des2 = sift.detectAndCompute(box_in_sence,None)


index_params = dict(algorithm = 0, trees = 5)

search_params = dict(checks=20)

flann = cv.FlannBasedMatcher(index_params,search_params)

matches = flann.knnMatch(des1, des2, k=2)


# 记录好的点
goodMatches = [[0,0] for i in range(len(matches))]

for i,(m,n) in enumerate(matches):
    if m.distance < 0.7*n.distance:
        goodMatches[i]=[1,0]

draw_params = dict(matchColor = (0,255,0), singlePointColor = (255,0,0), matchesMask = goodMatches, flags = 0)

result = cv.drawMatchesKnn(box, kp1, box_in_sence, kp2, matches, None, **draw_params)

基于描述子匹配的已知对象定位

?? 基于以上关于特征，描述子的匹配了解，我们可以通过这些知识去实现一个简单对象定位方法。

过程：

1. 使用ORB检测器检测提取描述子；
2. 筛选出好的描述子作为输入（一般是以最大匹配距离的一半作为阈值，小于阈值的为好的描述子）；
3. 通过单应性矩阵，获得这两个点所在平面的变换关系H；
4. 根据H使用透视变换就可以根据输入的对象图像获得场景图像中对象位置，最终绘制位置即可。

# 创建ORB特征检测器
orb = cv.ORB_create()
kp1, des1 = orb.detectAndCompute(box,None)
kp2, des2 = orb.detectAndCompute(box_in_sence,None)

# 暴力匹配
bf = cv.BFMatcher(cv.NORM_HAMMING, crossCheck=True)
matches = bf.match(des1,des2)
goodMatches = []

# 筛选出好的描述子
matches = sorted(matches, key = lambda x:x.distance)
for i in range(len(matches)):
    if (matches[i].distance < 0.46 * matches[-1].distance):
            goodMatches.append(matches[i])

result = cv.drawMatches(box, kp1, box_in_sence, kp2, goodMatches, None)

obj_pts, scene_pts = [], []

# 单独保存 obj 和 scene 好的点位置
for f in goodMatches:
    obj_pts.append(kp1[f.queryIdx].pt)
    scene_pts.append(kp2[f.trainIdx].pt)

#H, _= cv.findHomography(np.float32(obj_pts), np.float32(scene_pts), cv.RANSAC)

H, _ = cv.findHomography(np.float32(obj_pts), np.float32(scene_pts), cv.RHO)

h, w = box.shape[0:2]

pts = np.float32([[0, 0], [0, h], [w, h], [w, 0]]).reshape(-1, 1, 2)
dst = cv.perspectiveTransform(pts, H).reshape(-1, 2)
# 加上偏移量
for i in range(4):
    dst[i][0] += w

cv.polylines(result, [np.int32(dst)], True, (0, 255, 0), 3, cv.LINE_AA)

未完待续~

更多Opencv教程将持续发布！

欢迎关注哟~??????