Недавно я занимался сопоставлением изображений и обнаружил, что существует очень мощная библиотека OpenCV, имеющая кроссплатформенный многоязычный интерфейс и предоставляющая ряд общих алгоритмов компьютерного зрения и обработки изображений. приложения включают в себя распознавание объектов, распознавание лиц, сегментацию изображений, машинное зрение, анализ движения. Поскольку здесь задействованы некоторые понятия и алгоритмы обработки изображений, программисты, много лет работающие в бизнес-системах, редко касаются этой области, поэтому поделюсь процессом обработки задачи.
Установка OpenCV
Сначала рассмотрим установку этой библиотеки. Она кроссплатформенная и поддерживается основными операционными системами. Возьмем в качестве примера операционную систему OS X и инструмент разработки IntelliJ IDEA, чтобы увидеть процесс установки и настройки этой библиотеки.
Последняя версия OpenCV — 3.2.0, так что посмотрите на эту версиюПримечания по установке, на странице есть вводные сведения об установке для различных платформ, таких как Linux, Windows, Android, iOS и т. д. Поскольку я использую Java, я могу напрямую читать Introduction to Java Development Процесс установки делится на следующие этапы:
git скачать исходный код
Выберите каталог и загрузите исходный код OpenCV с помощью git
git clone git://github.com/opencv/opencv.git
переключить ветку кода git
Войдите в каталог opencv и переключите ветки
cd opencv
git checkout 2.4
Создайте новый каталог сборки
Создайте новый каталог сборки в каталоге opencv для хранения скомпилированных файлов.
mkdir build
cd build
Скомпилируйте весь код проекта
cmake -DBUILD_SHARED_LIBS=OFF ..
Когда в выводе консоли есть строка «To be build», содержащая «java», это означает, что проект успешно скомпилирован.
5. Соберите весь проект
make -j8
После выполнения команды make просмотрите содержимое каталога bin в каталоге сборки.Если есть файл с именем opencv-2413.jar, это означает, что opencv был скомпилирован и установлен.
После выполнения вышеуказанных шагов у вас действительно появится возможность доступа к openCV через интерфейс java. Для доступа к OpenCV в IntelliJ IDEA требуются еще две конфигурации:
Добавить пакет jar в проект
Добавьте opencv-2413.jar в каталог bin после вышеуказанной сборки в библиотеки проекта.
Затем выберите расположение opencv-2413.jar.
Напишите класс для тестирования среды OpenCV.
package org.study.image.openCV;
import org.opencv.core.Core;
public class OpenCVTest {
public static void main(String[] args) {
System.loadLibrary(Core.NATIVE_LIBRARY_NAME);
}
}
В этом классе есть одно предложение, загрузите локальную библиотеку openCV.
Настройте рабочие параметры приложения Java.
Запуск этого класса в это время сообщит об ошибке UnsatisfiedLinkError с запросом [нет opencv_java2413 в java.library.path]:
Итак, вам нужно настроить параметры времени выполнения Java-приложения, добавьте вышеуказанное в java.library.path
Каталог lib в каталоге сборки после компиляции OpenCV:Это позволит вам получить доступ к библиотеке OpenCV в среде Java.
описание проблемы
Задача, которую необходимо решить, состоит в том, чтобы определить, находится ли изображение в другом изображении, например, в следующих двух изображениях:
Невооруженным глазом видно, что изображение ниже на самом деле находится в нижней левой области изображения выше, но как компьютер может выдать такое суждение вместо ручной работы?
Сопоставление шаблонов на основе пикселей
Информация, которую я нашел в начале, была сопоставлением шаблонов в OpenCV, Принцип состоит в том, чтобы использовать изображение шаблона, чтобы перейти к другому изображению, чтобы найти часть, похожую на шаблон (в приведенном выше примере шаблон представляет собой небольшое изображение выше). Алгоритм сопоставления с шаблоном относится к скользящему изображению, которое необходимо сопоставить, с помощью скользящего окна и поиску фрагмента изображения с наибольшим сходством путем сравнения сходства между шаблоном и фрагментом изображения.
Так называемое скользящее окно предназначено для перемещения изображения таким образом, чтобы блок изображения перемещался на один пиксель за раз (слева направо, сверху вниз). В каждой позиции выполняется вычисление метрики для вычисления схожести значений пикселей данного блока изображения и определенной области исходного изображения. Когда сходство достаточно велико, цель считается найденной. Очевидно, что определение «подобия» здесь зависит от результатов, выдаваемых конкретной расчетной формулой, а результаты разных алгоритмов различны.
В настоящее время в OpenCV предусмотрено шесть алгоритмов: TM_SQDIFF (метод сопоставления квадратов разностей), TM_SQDIFF_NORMED (метод сопоставления нормализованных квадратов разностей), TM_CCORR (метод сопоставления корреляций), TM_CCORR_NORMED (метод сопоставления нормализованных корреляций), TM_CCOEFF (метод сопоставления коэффициентов корреляции) , TM_CCOEFF_NORMED (метод сопоставления нормированных коэффициентов корреляции).
Вот код для сопоставления шаблонов с использованием OpenCV в Java:
package org.study.image.openCV;
import org.opencv.core.*;
import org.opencv.highgui.Highgui;
import org.opencv.imgproc.Imgproc;
public class OpenCVTest {
public static void main(String[] args) {
System.loadLibrary(Core.NATIVE_LIBRARY_NAME);
Mat source, template;
//将文件读入为OpenCV的Mat格式
source = Highgui.imread("/Users/niwei/Downloads/原图.jpeg");
template = Highgui.imread("/Users/niwei/Downloads/模板.jpeg");
//创建于原图相同的大小，储存匹配度
Mat result = Mat.zeros(source.rows() - template.rows() + 1, source.cols() - template.cols() + 1, CvType.CV_32FC1);
//调用模板匹配方法
Imgproc.matchTemplate(source, template, result, Imgproc.TM_SQDIFF_NORMED);
//规格化
Core.normalize(result, result, 0, 1, Core.NORM_MINMAX, -1);
//获得最可能点，MinMaxLocResult是其数据格式，包括了最大、最小点的位置x、y
Core.MinMaxLocResult mlr = Core.minMaxLoc(result);
Point matchLoc = mlr.minLoc;
//在原图上的对应模板可能位置画一个绿色矩形
Core.rectangle(source, matchLoc, new Point(matchLoc.x + template.width(), matchLoc.y + template.height()), new Scalar(0, 255, 0));
//将结果输出到对应位置
Highgui.imwrite("/Users/niwei/Downloads/匹配结果.jpeg", source);
}
}
Изображение результата после сопоставления:Можно видеть, что область была отмечена зеленым прямоугольником на графике результатов сопоставления.На самом деле, результат сопоставления настолько хорош, главным образом потому, что приведенное выше изображение шаблона и исходное изображение фактически вырезаны из одного изображения с одинаковым В этом случае можно использовать алгоритм сопоставления с шаблоном.
Но его недостаток в том, что если изображение шаблона будет повернуто и масштабировано, этот метод сопоставления с шаблоном через скользящее окно не сработает, так как с этим бороться?
Сопоставление SURF на основе характерных точек
Для решения проблемы повторного сопоставления исходного изображения после поворота и масштабирования шаблонного изображения используется алгоритм сопоставления преобразования признаков в алгоритме обработки компьютерного зрения. Идея состоит в том, чтобы сначала найти некоторые «стабильные точки» на изображении, эти точки не исчезнут из-за изменения угла обзора, изменения освещения и шумовых помех, таких как угловые точки, краевые точки, яркие пятна в темных областях и темные. пятна на светлых участках. Таким образом, если два изображения имеют одну и ту же сцену, стабильная точка появится в одной и той же сцене на двух изображениях в одно и то же время, так что может быть достигнуто совпадение.
OpenCV предоставил множество алгоритмов для сопоставления точек признаков, включая FAST, SIFT, SURF, ORB и т. д. Здесь не будет повторяться разница между этими алгоритмами.Возьмите SURF в качестве примера, чтобы увидеть, как он применяется в OpenCV.
package com.zhiqu.image.recognition;
import org.opencv.calib3d.Calib3d;
import org.opencv.core.*;
import org.opencv.features2d.*;
import org.opencv.highgui.Highgui;
import java.util.LinkedList;
import java.util.List;
/**
* Created by niwei on 2017/4/28.
*/
public class ImageRecognition {
private float nndrRatio = 0.7f;//这里设置既定值为0.7，该值可自行调整
private int matchesPointCount = 0;
public float getNndrRatio() {
return nndrRatio;
}
public void setNndrRatio(float nndrRatio) {
this.nndrRatio = nndrRatio;
}
public int getMatchesPointCount() {
return matchesPointCount;
}
public void setMatchesPointCount(int matchesPointCount) {
this.matchesPointCount = matchesPointCount;
}
public void matchImage(Mat templateImage, Mat originalImage) {
MatOfKeyPoint templateKeyPoints = new MatOfKeyPoint();
//指定特征点算法SURF
FeatureDetector featureDetector = FeatureDetector.create(FeatureDetector.SURF);
//获取模板图的特征点
featureDetector.detect(templateImage, templateKeyPoints);
//提取模板图的特征点
MatOfKeyPoint templateDescriptors = new MatOfKeyPoint();
DescriptorExtractor descriptorExtractor = DescriptorExtractor.create(DescriptorExtractor.SURF);
System.out.println("提取模板图的特征点");
descriptorExtractor.compute(templateImage, templateKeyPoints, templateDescriptors);
//显示模板图的特征点图片
Mat outputImage = new Mat(templateImage.rows(), templateImage.cols(), Highgui.CV_LOAD_IMAGE_COLOR);
System.out.println("在图片上显示提取的特征点");
Features2d.drawKeypoints(templateImage, templateKeyPoints, outputImage, new Scalar(255, 0, 0), 0);
//获取原图的特征点
MatOfKeyPoint originalKeyPoints = new MatOfKeyPoint();
MatOfKeyPoint originalDescriptors = new MatOfKeyPoint();
featureDetector.detect(originalImage, originalKeyPoints);
System.out.println("提取原图的特征点");
descriptorExtractor.compute(originalImage, originalKeyPoints, originalDescriptors);
List<MatOfDMatch> matches = new LinkedList();
DescriptorMatcher descriptorMatcher = DescriptorMatcher.create(DescriptorMatcher.FLANNBASED);
System.out.println("寻找最佳匹配");
/**
* knnMatch方法的作用就是在给定特征描述集合中寻找最佳匹配
* 使用KNN-matching算法，令K=2，则每个match得到两个最接近的descriptor，然后计算最接近距离和次接近距离之间的比值，当比值大于既定值时，才作为最终match。
*/
descriptorMatcher.knnMatch(templateDescriptors, originalDescriptors, matches, 2);
System.out.println("计算匹配结果");
LinkedList<DMatch> goodMatchesList = new LinkedList();
//对匹配结果进行筛选，依据distance进行筛选
matches.forEach(match -> {
DMatch[] dmatcharray = match.toArray();
DMatch m1 = dmatcharray[0];
DMatch m2 = dmatcharray[1];
if (m1.distance <= m2.distance * nndrRatio) {
goodMatchesList.addLast(m1);
}
});
matchesPointCount = goodMatchesList.size();
//当匹配后的特征点大于等于 4 个，则认为模板图在原图中，该值可以自行调整
if (matchesPointCount >= 4) {
System.out.println("模板图在原图匹配成功！");
List<KeyPoint> templateKeyPointList = templateKeyPoints.toList();
List<KeyPoint> originalKeyPointList = originalKeyPoints.toList();
LinkedList<Point> objectPoints = new LinkedList();
LinkedList<Point> scenePoints = new LinkedList();
goodMatchesList.forEach(goodMatch -> {
objectPoints.addLast(templateKeyPointList.get(goodMatch.queryIdx).pt);
scenePoints.addLast(originalKeyPointList.get(goodMatch.trainIdx).pt);
});
MatOfPoint2f objMatOfPoint2f = new MatOfPoint2f();
objMatOfPoint2f.fromList(objectPoints);
MatOfPoint2f scnMatOfPoint2f = new MatOfPoint2f();
scnMatOfPoint2f.fromList(scenePoints);
//使用 findHomography 寻找匹配上的关键点的变换
Mat homography = Calib3d.findHomography(objMatOfPoint2f, scnMatOfPoint2f, Calib3d.RANSAC, 3);
/**
* 透视变换(Perspective Transformation)是将图片投影到一个新的视平面(Viewing Plane)，也称作投影映射(Projective Mapping)。
*/
Mat templateCorners = new Mat(4, 1, CvType.CV_32FC2);
Mat templateTransformResult = new Mat(4, 1, CvType.CV_32FC2);
templateCorners.put(0, 0, new double[]{0, 0});
templateCorners.put(1, 0, new double[]{templateImage.cols(), 0});
templateCorners.put(2, 0, new double[]{templateImage.cols(), templateImage.rows()});
templateCorners.put(3, 0, new double[]{0, templateImage.rows()});
//使用 perspectiveTransform 将模板图进行透视变以矫正图象得到标准图片
Core.perspectiveTransform(templateCorners, templateTransformResult, homography);
//矩形四个顶点
double[] pointA = templateTransformResult.get(0, 0);
double[] pointB = templateTransformResult.get(1, 0);
double[] pointC = templateTransformResult.get(2, 0);
double[] pointD = templateTransformResult.get(3, 0);
//指定取得数组子集的范围
int rowStart = (int) pointA[1];
int rowEnd = (int) pointC[1];
int colStart = (int) pointD[0];
int colEnd = (int) pointB[0];
Mat subMat = originalImage.submat(rowStart, rowEnd, colStart, colEnd);
Highgui.imwrite("/Users/niwei/Desktop/opencv/原图中的匹配图.jpg", subMat);
//将匹配的图像用用四条线框出来
Core.line(originalImage, new Point(pointA), new Point(pointB), new Scalar(0, 255, 0), 4);//上 A->B
Core.line(originalImage, new Point(pointB), new Point(pointC), new Scalar(0, 255, 0), 4);//右 B->C
Core.line(originalImage, new Point(pointC), new Point(pointD), new Scalar(0, 255, 0), 4);//下 C->D
Core.line(originalImage, new Point(pointD), new Point(pointA), new Scalar(0, 255, 0), 4);//左 D->A
MatOfDMatch goodMatches = new MatOfDMatch();
goodMatches.fromList(goodMatchesList);
Mat matchOutput = new Mat(originalImage.rows() * 2, originalImage.cols() * 2, Highgui.CV_LOAD_IMAGE_COLOR);
Features2d.drawMatches(templateImage, templateKeyPoints, originalImage, originalKeyPoints, goodMatches, matchOutput, new Scalar(0, 255, 0), new Scalar(255, 0, 0), new MatOfByte(), 2);
Highgui.imwrite("/Users/niwei/Desktop/opencv/特征点匹配过程.jpg", matchOutput);
Highgui.imwrite("/Users/niwei/Desktop/opencv/模板图在原图中的位置.jpg", originalImage);
} else {
System.out.println("模板图不在原图中！");
}
Highgui.imwrite("/Users/niwei/Desktop/opencv/模板特征点.jpg", outputImage);
}
public static void main(String[] args) {
System.loadLibrary(Core.NATIVE_LIBRARY_NAME);
String templateFilePath = "/Users/niwei/Desktop/opencv/模板.jpeg";
String originalFilePath = "/Users/niwei/Desktop/opencv/原图.jpeg";
//读取图片文件
Mat templateImage = Highgui.imread(templateFilePath, Highgui.CV_LOAD_IMAGE_COLOR);
Mat originalImage = Highgui.imread(originalFilePath, Highgui.CV_LOAD_IMAGE_COLOR);
ImageRecognition imageRecognition = new ImageRecognition();
imageRecognition.matchImage(templateImage, originalImage);
System.out.println("匹配的像素点总数：" + imageRecognition.getMatchesPointCount());
}
}
См. комментарии в тексте для объяснения кода, и результаты выполнения следующие: