Python辅助-找图功能(你还在用pyautogui?)
土拨鼠资源网站长 2024-07-10 11:05:04 阅读 85
前言
在游戏的脚本类辅助中,避免不了一个功能,那就是找图返回图像在屏幕上的坐标,对于找图功能,现成的方法,现成的脚本工具数不胜数,但是至于精度那就不好说了。举个现成方法的例子,在python自动化中,pyautogui有个方法为locateOnScreen(image="图片路径"),其作用为在桌面上找到路径中设置的图片,并返回坐标元组,这个方法能找到图的前提是所传路径图和桌面图完全一致,即必须100%匹配,这是一个缺点也是优点,例如找桌面图标,我图标换个地方摆,它可能就找不到了,因为背景变了。另外举个现成工具例子,在按键精灵中自带找图功能,而且很方便,一般的找图完全适用,且可以设置图像匹配率,但是在某些情况下他还是无法胜任,也是因为某些游戏背景是处于一个动态变换的原因。这里分享一个通过python完成一个可多参数控制的识图功能。
涉及的算法
不要怕,最后我会将自己封装的工具方法发出来,直接复制粘贴传参就行,要传的参数见下方可控参数。
本文章的图像识别主要用到的是基于SIFT检测算法,在图像识别这块,浅度的识别比较知名的有SIFT、SURF、ORB,而SIFT是精度最高的一种,他能在不同尺度、旋转、光照变化和视角变化的情况下都能保持较好的检测性能。
可控参数
max_init_num:最大搜索系数,范围0.1~1,系数越小精度越高,建议不要高于0.5(我给你建议那就是因为自己测试过),当然我们这里会做成一个从0.1循环搜索图片,自增到我们设置的最大系数。
trees:索引树数量,数量越大,精度越高,但相应的耗时越高,建议100
checks:索引树遍历次数,数量越大,精度越高,但相应耗时越高,建议1000
img_url:即要匹配的图像的路径(注意路径不可含有中文,图片名也不可含有中文)
功能目的
即在屏幕上找到我们期望的图片,并返回位置信息
所需库
<code>import os
import cv2
import pyautogui
正文
第一步:获取两张图片数据
因为是要在屏幕找图,所以直接用pyautogui直接全屏截图对比即可,截下来的图会自动保存到当前目录,最后面用os删掉就行了
语句解释:通过screenshot截取了全屏图片命名为screen.png并放在当前目录下,然后通过cv2.imread分别读取截取的屏幕图的图像数据和我们期望寻找的图像的数据,返回的数据是一个numpy数组,若为彩色图像则是一个三维的numpy数组。
pyautogui.screenshot(imageFilename="screen.png")code>
screenPic=cv2.imread("screen.png")
img_url=r"C:\testpic\wx.png"
myPic=cv2.imread(img_url)
第二步:获取两张图关键点和描述符
要获取图像的关键点和描述符就需要SIFT对象,通过cv2创建即可,然后经过sift对象的检测和计算获取到两张图的监测点和描述符。
sift=cv2.SIFT_create()
screenPicKP,screenPicDES=sift.detectAndCompute(screenPic,None)
myPicKP,myPicDES=sift.detectAndCompute(myPic,None)
第三步:准备匹配器
这里就用到了我们所说的可控参数,索引树数量,索引树遍历次数。
这里我选择了Flann匹配器,因为简单且直接,对于小型数据集或实时应用运算速度较快。
语句解释:
如下indexParams表示定义索引数量,searcheParams表示定义单个索引遍历次数,这两个参数是构成Flann匹配器的基本条件,因此再通过cv2.FlannBasedMatcher传入参数就得到了flann匹配器了。
trees=100
checks=1000
indexParams=dict(algorithm=0,trees=int(trees))
searcheParams=dict(checks=int(checks))
flann=cv2.FlannBasedMatcher(indexParams,searcheParams)
第四步:开始匹配获取匹配结果集
解释:调用flann匹配器的knn匹配法,传入两张图的描述符数据,k表示要返回的最近邻的数量。然后通过sorted方法根据描述符中特征点的距离distance进行一个排序,因为后面会取中位数作为最优匹配
matches=flann.knnMatch(screenPicDES,myPicDES,k=2)
matches=sorted(matches,key=lambda x:x[0].distance)
第五步:筛选最优匹配输出坐标
解释:
x,y用于存放最后找到图返回的坐标,没找到就是None
max_init_num是我们的可控参数,表示期望最大的匹配率,建议0.3~0.5,过小会找不到,过大会找错。
如下定义的循环条件是当初始匹配系数小于我们设置的最大系数时,就不断进行循环查找最优匹配并填充坐标值
最后我们通过os移除了截屏的图片
x, y = None, None
max_init_num=0.4
init_num=0.1
init_num=float(init_num)
while init_num<=max_init_num:
goodMatches=[]
for m,n in matches:
if m.distance<init_num*n.distance:
goodMatches.append(m)
index=int(len(goodMatches)/2)
try:
x,y=screenPicKP[goodMatches[index].queryIdx].pt
break
except:
init_num=init_num+0.1
os.remove("screen.png")
print("图像在屏幕上的x坐标为:"+str(x))
print("图像在屏幕上的y坐标为:"+str(y))
测试:
初步测试
首先测试能否找图,可以看到找到图并获取到了坐标,然后用pyautogui.moveTo将鼠标自动移上去了。
模糊测试
我向图片添加了三次马赛克进行了模糊处理,这种识图方法依旧能够识别到,可见其识别能力还是很不错的,这里用的最大搜索系数为0.1
封装为方法:
<code>import os
import cv2
import pyautogui
"""
全屏幕找图,返回图坐标x,y,没找到图则返回None,None
max_init_num:最大搜索系数,0.1~1.0,越低越精确,建议不要高于0.5,
trees:索引树数量,建议100
checks:索引树遍历次数,建议1000
img_url:要找的图的文件路径(路径不能含有中文,图片名不能含有有中文)
"""
def FindImgOnScreen(max_init_num,trees,checks,img_url):
init_num=0.1
#截取屏幕图
pyautogui.screenshot(imageFilename="screen.png")code>
#读取屏幕图
screenPic=cv2.imread("screen.png")
#要匹配的图
myPic=cv2.imread(img_url)
#获取两图关键点和描述符
sift=cv2.SIFT_create()
screenPicKP,screenPicDES=sift.detectAndCompute(screenPic,None)
myPicKP,myPicDES=sift.detectAndCompute(myPic,None)
#获取FLANN匹配器
indexParams=dict(algorithm=0,trees=int(trees))
searcheParams=dict(checks=int(checks))
flann=cv2.FlannBasedMatcher(indexParams,searcheParams)
#FLANN匹配器进行KNN匹配
matches=flann.knnMatch(screenPicDES,myPicDES,k=2)
#根据描述符距离排序
matches=sorted(matches,key=lambda x:x[0].distance)
#筛选优秀匹配
x, y = None, None
init_num=float(init_num)
while init_num<=max_init_num:
goodMatches=[]
for m,n in matches:
if m.distance<init_num*n.distance:
goodMatches.append(m)
#获取最佳坐标
index=int(len(goodMatches)/2)
try:
x,y=screenPicKP[goodMatches[index].queryIdx].pt
return x,y
except:
init_num=init_num+0.1
os.remove("screen.png")
return x,y
附上自己的资源站
源码资源尽在https://www.tbszyw.com
声明
本文内容仅代表作者观点,或转载于其他网站,本站不以此文作为商业用途
如有涉及侵权,请联系本站进行删除
转载本站原创文章,请注明来源及作者。