opencv模板匹配识别logo opencv模板匹配识别纯色

本文目的

目的：学习使用opencv的matchTemplate函数

语言：java

版本：opencv-410

简介：通过matchTemplate函数在一个图像中查找匹配的logo。

原图是以下的图片，一个百度首页图，我们要从中找出logo

这个方法应用场景很多，除了本案例中的logo识别，比如要在一堆图像中寻找指定人脸，就可以利用此算法在图像中找到此人脸的最佳匹配，确定相似度。

模板图：

分解介绍

函数：matchTemplate

matchTemplate(Mat image, Mat templ, Mat result, int method, Mat mask)

参数介绍

· image，第一个参数：待匹配的源图像

· templ，第二个参数：模板图像，要是和源图像一样的数据类型，并且尺寸不能大于源图像

· result,第三个参数：保存结果的矩阵，我们可以通过minMaxLoc() 确定结果矩阵的最大值和最小值的位置.

· method,第四个参数：模板匹配的算法（6种）

· TM_SQDIFF：计算模板与目标图像的方差，由于是像素值差值的平方的和，所以值越小匹配程度越高；

· TM_SQDIFF_NORMED：范化的cv::TM_SQDIFF，取值为0-1之间，完美匹配返回值为0；

· TM_CCORR：使用dot product计算匹配度（不清楚怎么计算dot product，不涉及原理），越高匹配度就好；

· TM_CCORR_NORMED：范化的cv::TM_CCORR，0-1之间

· TM_CCOEFF：采用模板与目标图像像素与各自图像的平均值计算dot product，正值越大匹配度越高，负值越大图像的区别越大，但如果图像没有明显的特征（即图像中的像素值与平均值接近）则返回值越接近0；

· TM_CCOEFF_NORMED：范化的cv::TM_CCOEFF，-1 ~ 1之间。

· mask，第五个参数，蒙版

程序步骤

以下是程序的核心步骤：

· 加载图像（原图，模板图，以及mask图），因为图像比较大，都做了等比缩小

srcImg = Imgcodecs.imread(FileLoadUtils.getFilePath("static/baidu.png"), Imgcodecs.IMREAD_COLOR);

Imgproc.resize(srcImg,srcImg,new Size(srcImg.width()/2,srcImg.height()/2));

templ = Imgcodecs.imread(FileLoadUtils.getFilePath("static/template.png"), Imgcodecs.IMREAD_COLOR);

Imgproc.resize(templ,templ,new Size(templ.width()/2,templ.height()/2));

· 执行匹配操作

Imgproc.matchTemplate(srcImg, templ, result, match_method);

· 归一化操作

归一化就是要把需要处理的数据经过处理后（通过某种算法）限制在你需要的一定范围内。首先归一化是为了后面数据处理的方便，其次是保证程序运行时收敛加快。归一化的具体作用是归纳统一样本的统计分布性。归一化在0-1之间是统计的概率分布，归一化在某个区间上是统计的坐标分布。 归一化的目的简而言之，即归一化数据。是使得没有可比性的数据变得具有可比性，同时又保持相比较的两个数据之间的相对关系，如大小关系；或是为了作图，原来很难在一张图上作出来，归一化后就可以很方便的给出图上的相对位置等。

//归一化

Core.normalize(result, result, 0, 1, Core.NORM_MINMAX, -1, new Mat());

归一化核心参数说明：

alpha：

range normalization模式的最小值。1,用来规范值，2.规范范围，并且是下限；

beta：

只用来规范range normalization模式的最大值，不用于norm normalization(范数归一化)模式。

normType：

归一化的类型，可以有以下的取值：

NORM_MINMAX:数组的数值被平移或缩放到一个指定的范围，线性归一化，一般较常用。

NORM_INF: 此类型的定义没有查到，根据OpenCV 1的对应项，可能是归一化数组的C-范数(绝对值的最大值)

NORM_L1 : 归一化数组的L1-范数(绝对值的和)

NORM_L2: 归一化数组的(欧几里德)L2-范数

dtype：

dtype为负数时，输出数组的type与输入数组的type即大小、深度、通道数都相同；

否则，输出数组与输入数组只是通道数相同，其余地方由tpye决定。如tpye=CV_MAT_DEPTH(dtype).

mask：

操作掩膜，选择感兴趣区域，选定后只能对该区域进行操作。

· 使用minMaxLoc（）在结果矩阵R中定位最小值和最大值Point matchLoc;

对于TM_SQDIFF和TM_SQDIFF_NORMED，最佳匹配是最低值。对于其他所有值，较高的值表示更好的匹配。因此，我们将相应的值保存在matchLoc变量中：

Core.MinMaxLocResult mmr = Core.minMaxLoc(result);

if (match_method == Imgproc.TM_SQDIFF || match_method == Imgproc.TM_SQDIFF_NORMED) {

matchLoc = mmr.minLoc;

} else {

matchLoc = mmr.maxLoc;

}

· 绘制原图像和结果矩阵，并且在最佳匹配点画个圆圈

//显示源图像和结果矩阵。在尽可能高的匹配区域周围绘制一个矩形：

Imgproc.rectangle(img_display, matchLoc, new Point(matchLoc.x + templ.cols(), matchLoc.y + templ.rows()),

new Scalar(0, 0, 0), 2, 8, 0);

Imgproc.rectangle(result, matchLoc, new Point(matchLoc.x + templ.cols(), matchLoc.y + templ.rows()),

new Scalar(0, 0, 0), 2, 8, 0);

Imgproc.circle(result,new Point(matchLoc.x,matchLoc.y),7,new Scalar(255,0,0));

代码

package com.joe.vision.machine.vision.samples;

import org.opencv.core.Point;

import org.opencv.core.*;

import org.opencv.highgui.HighGui;

import org.opencv.imgcodecs.Imgcodecs;

import org.opencv.imgproc.Imgproc;

import javax.swing.*;

import javax.swing.event.ChangeEvent;

import javax.swing.event.ChangeListener;

import java.awt.*;

import java.io.FileNotFoundException;

import java.util.Hashtable;

/**

* 模式匹配学习

*/

class MatchTemplateDemoRun implements ChangeListener {

Boolean use_mask = false;

Mat srcImg = new Mat(), templ = new Mat();

Mat mask = new Mat();

int match_method;

JLabel imgDisplay = new JLabel(), resultDisplay = new JLabel(), templateDisplay = new JLabel();

public static void main(String[] args) throws FileNotFoundException {

// load the native OpenCV library

System.loadLibrary(Core.NATIVE_LIBRARY_NAME);

// run code

new MatchTemplateDemoRun().run(args);

}

public void run(String[] args) throws FileNotFoundException {

//加载源图像，模板，以及可选的（如果匹配方法支持）蒙版

srcImg = Imgcodecs.imread(FileLoadUtils.getFilePath("static/baidu.png"), Imgcodecs.IMREAD_COLOR);

Imgproc.resize(srcImg,srcImg,new Size(srcImg.width()/2,srcImg.height()/2));

templ = Imgcodecs.imread(FileLoadUtils.getFilePath("static/template.png"), Imgcodecs.IMREAD_COLOR);

Imgproc.resize(templ,templ,new Size(templ.width()/2,templ.height()/2));

if (args.length > 2) {

use_mask = true;

mask = Imgcodecs.imread(args[2], Imgcodecs.IMREAD_COLOR);

}

if (srcImg.empty() || templ.empty() || (use_mask && mask.empty())) {

System.out.println("Can't read one of the images");

System.exit(-1);

}

matchingMethod();

createJFrame();

}

/**

* 模式匹配

*/

private void matchingMethod() {

Mat result = new Mat();

Mat img_display = new Mat();

//复制原图像

srcImg.copyTo(img_display);

int result_cols = srcImg.cols() - templ.cols() + 1;

int result_rows = srcImg.rows() - templ.rows() + 1;

result.create(result_rows, result_cols, CvType.CV_32FC1);

//执行模板匹配操作

Boolean method_accepts_mask = (Imgproc.TM_SQDIFF == match_method || match_method == Imgproc.TM_CCORR_NORMED);

if (use_mask && method_accepts_mask) {

Imgproc.matchTemplate(srcImg, templ, result, match_method, mask);

} else {

Imgproc.matchTemplate(srcImg, templ, result, match_method);

}

//归一化

Core.normalize(result, result, 0, 1, Core.NORM_MINMAX, -1, new Mat());

//使用minMaxLoc（）在结果矩阵R中定位最小值和最大值

Point matchLoc;

Core.MinMaxLocResult mmr = Core.minMaxLoc(result);

//对于前两种方法（TM_SQDIFF和TM_SQDIFF_NORMED），最佳匹配是最低值。

// 对于其他所有值，较高的值表示更好的匹配。因此，我们将相应的值保存在matchLoc变量中：

if (match_method == Imgproc.TM_SQDIFF || match_method == Imgproc.TM_SQDIFF_NORMED) {

matchLoc = mmr.minLoc;

} else {

matchLoc = mmr.maxLoc;

}

//显示源图像和结果矩阵。在尽可能高的匹配区域周围绘制一个矩形：

Imgproc.rectangle(img_display, matchLoc, new Point(matchLoc.x + templ.cols(), matchLoc.y + templ.rows()),

new Scalar(0, 0, 0), 2, 8, 0);

Imgproc.rectangle(result, matchLoc, new Point(matchLoc.x + templ.cols(), matchLoc.y + templ.rows()),

new Scalar(0, 0, 0), 2, 8, 0);

Imgproc.circle(result,new Point(matchLoc.x,matchLoc.y),7,new Scalar(255,0,0));

Image tmpImg = HighGui.toBufferedImage(img_display);

ImageIcon icon = new ImageIcon(tmpImg);

imgDisplay.setIcon(icon);

result.convertTo(result, CvType.CV_8UC1, 255.0);

tmpImg = HighGui.toBufferedImage(result);

icon = new ImageIcon(tmpImg);

resultDisplay.setIcon(icon);

}

@Override

public void stateChanged(ChangeEvent e) {

JSlider source = (JSlider) e.getSource();

if (!source.getValueIsAdjusting()) {

match_method = source.getValue();

matchingMethod();

}

}

private void createJFrame() {

String title = "Source image; Control; Result image";

JFrame frame = new JFrame(title);

int min = 0, max = 5;

JPanel sliderPanel = new JPanel();

sliderPanel.setLayout(new BoxLayout(sliderPanel, BoxLayout.PAGE_AXIS));

//构造滑动条

JSlider slider = buildSlider(min, max);

templateDisplay.setIcon(new ImageIcon(HighGui.toBufferedImage(templ)));

sliderPanel.add(slider);

sliderPanel.add(new JLabel("template image:"));

//展示模板图

sliderPanel.add(templateDisplay);

frame.getContentPane().add(sliderPanel, BorderLayout.PAGE_START);

JPanel imgPanel = new JPanel();

imgPanel.add(imgDisplay);

imgPanel.add(resultDisplay);

frame.getContentPane().add(imgPanel, BorderLayout.CENTER);

frame.setDefaultCloseOperation(JFrame.EXIT_ON_CLOSE);

frame.pack();

frame.setVisible(true);

}

private JSlider buildSlider(int min, int max) {

JSlider slider = new JSlider(JSlider.HORIZONTAL, min, max, match_method);

slider.setPaintTicks(true);

slider.setPaintLabels(true);

// Set the spacing for the minor tick mark

slider.setMinorTickSpacing(1);

// Customizing the labels

Hashtable<Integer, JLabel> labelTable = new Hashtable<>();

labelTable.put(new Integer(0), new JLabel("0 - SQDIFF"));

labelTable.put(new Integer(1), new JLabel("1 - SQDIFF NORMED"));

labelTable.put(new Integer(2), new JLabel("2 - TM CCORR"));

labelTable.put(new Integer(3), new JLabel("3 - TM CCORR NORMED"));

labelTable.put(new Integer(4), new JLabel("4 - TM COEFF"));

labelTable.put(new Integer(5), new JLabel("5 - TM COEFF NORMED : (Method)"));

slider.setLabelTable(labelTable);

slider.addChangeListener(this);

return slider;

}

}

效果

匹配方法选择 TM_SQDIFF和TM_SQDIFF_NORMED时，最低亮度的是最匹配的位置，如图1和图二中的白色圆圈，如图，左侧原图中百度logo已经能识别出来。

图一：

图二：

其他几个匹配方法，最亮的位置是最像的，如下图

这张图识别错误

错误!未指定文件名。错误!未指定文件名。错误!未指定文件名。错误!未指定文件名。错误!未指定文件名。错误!未指定文件名。

下面两张图最亮的位置分别识别正确