计算机视觉
Macaca 提供计算机视觉解决方案,用来处理 View 体系之外的问题。如识别测试过程中的截图、测试游戏类产品等,本文档会介绍 OpenCV, Sikuli 和其它被广泛使用的库是如何与 Macaca 结合使用的。另外也会介绍 NodeCV 服务部署,然后便可随时随地使用此图形服务。
OpenCV
安装
MacOS 可使用 brew 来安装:
$ brew install opencv
请使用稳定的v2(2.4.13.2)版本,源码包下载地址,windows 平台的安装请参考 OpenCV 官网。
如果不想本机安装使用的请直接使用后面提到的 NodeCV 服务,避免环境的诸多问题。
各语言使用方法
Node.js:
只需要引入 nodecv 模块即可完成图像相似度,特征匹配,特征识别等功能,如下示例。
const nodecv = require('nodecv');
nodecv.imread(image1Path, (err, image1) => {
if (err) {
throw err;
}
nodecv.imread(image2Path, (err, image2) => {
if (err) {
throw err;
}
nodecv.imageDissimilarity(image1, image2, (err, dissimilarity) => {
if (err) {
throw err;
}
console.log(`Dissimilarity: ${dissimilarity}`);
});
});
});
匹配方式枚举:
CV_TM_SQDIFF =0 平方差匹配法
CV_TM_SQDIFF_NORMED =1 归一化平方差匹配法
CV_TM_CCORR =2 相关匹配法
CV_TM_CCORR_NORMED =3 归一化相关匹配法
CV_TM_CCOEFF =4 相关系数匹配法
CV_TM_CCOEFF_NORMED =5 归一化相关系数匹配法
更多 Node.js 示例请访问 macaca-sample/cv-sample-node。
Python:
import cv2
import numpy as np
class opencvSample:
def __init__(self, sourceimage):
self.sourceimage = sourceimage
def match(self, templateimage, threshold=0.8):
image = cv2.imread(self.sourceimage)
template = cv2.imread(templateimage)
result = cv2.matchTemplate(image, template, cv2.TM_CCOEFF_NORMED)
similarity = cv2.minMaxLoc(result)[1]
if similarity < threshold:
return similarity
else:
return np.unravel_index(result.argmax(), result.shape)
更多 Python 示例请访问 macaca-sample/cv-sample-python。
Java:
Java 端请直接使用 JavaCV,更多 Java 示例请访问 macaca-sample/cv-sample-java。
部署 NodeCV 服务
Macaca 提供便捷的 Opencv 服务部署,只需要 Docker 环境便可一键部署。
$ git clone https://github.com/macacajs/nodecv-server.git --depth=1
$ cd nodecv-server
$ docker build . -t="node-server"
然后便可在任意服务器环境,甚至树莓派启动 OpenCV 的 HTTP
服务,macaca-sample 也提供各语言针对服务端通信的示例。
服务启动成功后可访问 demo 页面: http://localhost:9900/opencv/demo
API
POST /opencv/dissimilarity
POST /opencv/matchtemplate
POST /opencv/cascadedetect
请求 HTTP 服务示例:
request.post({
url: `${remoteHost}/opencv/dissimilarity`,
formData: formData
}, function(err, httpResponse, body) {
if (err) {
return console.error('upload failed:', err);
}
console.log('Server responded with:', body);
try {
const data = JSON.parse(body);
console.log(`Dissimilarity is: ${data.dissimilarity}`);
} catch (e) {
}
});
更多请见 nodecv-server。
其它方案
Sikuli
Sikuli 是一种图形脚本语言,与 Macaca 配合使用可适应特定的测试场景,更多请见官网sikuli。
Tesseract
tesseract 在文字识别等方面非常专业,可与 OpenCV 配合使用。
Image Diff
基于像素点对比的图像 Diff,可以使用:
- uber-archive/image-diff
- yahoo/blink-diff
与 Macaca 结合使用的示例地址:macaca-sample/react-native-sample,效果如下:
游戏框架 Hilo 也是基于像素点对比的,与 Macaca 结合使用示例见 hiloteam/Hilo 官网。