导言

自动化对于很多人来说是一个高深莫测，可望而不可即的概念，但是其实自动化的实现途径有很多，比如接下来笔者将要介绍的就是其中较为简单的实现途径----pyautogui，只要有一定的编程基础，相信你也可以写出自己的自动化脚本，而其它的自动化脚本也可以做到触类旁通。

pyautogui常用函数

1.定位函数locateCenterOnScreen()

定位函数locateCenterOnScreen()可以定位截图在屏幕上的坐标位置。如果你不知道按钮的位置，就不能用moveTo()移动和click()点击。而且按钮的位置可能会变化，这时即使有来坐标也不好用了。

但是如果你有按钮的截图，你就可以调用pyautogui.locateCenterOnScreen()函数来直接获得按钮所在中心坐标如果截图没找到，pyautogui.locateCenterOnScreen()函数返回None。

下面以我的编译器界面为例，在这个界面中，找到星穹铁道的图标：

截图效果是这样：

是不是挺糊的？2333，但是没关系，我们强大的locateCenterOnScreen()函数照样能返回坐标，让我们来试试：

# 导入库

import pyautogui

# 寻找截图所在位置

location = pyautogui.locateCenterOnScreen('../automation/template/xing_tie.png')

# 打印截图所在位置

print(location)

# 输出结果

# Point(x=1547, y=1563)

1.1 locateCenterOnScreen()可选关键字：匹配精度

虽然掌握了上述内容，你就可以进行基本的定位操作了，但是如果想要更加精确更加高效的完成定位，那么我想下面的可选参数你一定不能错过。

可选的confidence关键字参数指定函数在屏幕上定位图像的精度。该参数越大，图像匹配程度越高。

# 导入库

import pyautogui

# 寻找截图所在位置

location = pyautogui.locateCenterOnScreen('../automation/template/xing_tie.png',confidence=0.1)

location1 = pyautogui.locateCenterOnScreen('../automation/template/xing_tie.png',confidence=0.9)

# 打印截图所在位置

print('低精度匹配')

print(location)

print('高精度匹配')

print(location1)

# 输出结果

# 低精度匹配

# Point(x=26, y=25)

# 高精度匹配

# Point(x=1547, y=1563)

低精度匹配结果不说严丝合缝，至少也可以说是偏到姥姥家去了，但是很多时候适当调低精度还是有利于定位，因为很多时候截图的清晰度并不是那么高，这时候如果还要求超高精度完美匹配反而定位不到，属于是你这钱给活我也干不了

P.s.需要安装OpenCV库才能使confidence关键字起作用

1.2 locateCenterOnScreen()可选关键字：灰度匹配

在 1920 x 1080 屏幕上，定位函数调用大约需要 1 或 2 秒。这对于大部分项目和程序来说已经绰绰有余，但是对于游戏或者视频来说还是太慢了。可选的grayscale关键字可以给定位函数来稍微加速（大约30%左右）。这会降低图像和屏幕截图的颜色饱和度，从而加快定位速度，但可能会导致误报匹配（假阳性）。

# 导入库

import pyautogui

# 寻找截图所在位置

location = pyautogui.locateCenterOnScreen('../automation/template/xing_tie.png',grayscale=True)

# 打印截图所在位置

print(location)

# 输出结果

# Point(x=1547, y=1563)

2.鼠标控制函数

2.1鼠标控制函数moveTo( )

鼠标控制函数moveTo( )会将鼠标光标移动至指定坐标（X,Y）。None可以传递坐标值来表示“当前鼠标光标位置” 。

# 导入库

import time

import pyautogui

# 等待一会方便观察，随后鼠标移动到x:114,y:514的位置

time.sleep(2)

pyautogui.moveTo(114, 514)

# 等待一会方便观察，随后鼠标移动到x不变(114),y:191的位置

time.sleep(2)

pyautogui.moveTo(None,191 )

# 等待一会方便观察，随后鼠标移动到x:981,y不变(191)的位置

time.sleep(2)

pyautogui.moveTo(981, None)

2.1.1 moveTo( )可选关键字：移动所需时间

通常鼠标光标会立即移动到新坐标。如果您希望鼠标逐渐移动到新位置，请传递第三个参数来表示移动所需的持续时间（以秒为单位）。需要注意的是，如果持续时间小于0.1的话，移动将是即时的。

# 导入库

import pyautogui

# 鼠标移动到（114，514）坐标,过程持续3秒

pyautogui.moveTo(114, 514,3)

2.2鼠标控制函数dragTo( )

鼠标控制函数dragTo( )将鼠标在当前位置，按住指定鼠标按键并移动至指定坐标（X,Y），实现拖拽效果。button关键字可以设置为'left'、'middle'、 以及'right'拖动时按住哪个鼠标按钮。

# 导入库

import pyautogui

# 将鼠标在当前位置按住鼠标左键并移动至（300，400）坐标

pyautogui.dragTo(100, 200, button='left')

2.2.1 dragTo( )可选关键字：拖拽所需时间

通常鼠标光标会立即拖拽到新坐标。如果您希望鼠标逐渐拖拽到新位置，请传递第三个参数来表示移动所需的持续时间（以秒为单位）。

# 导入库

import pyautogui

# 将鼠标在当前位置按住鼠标右键并移动至（300，400）坐标,用时两秒

pyautogui.dragTo(300, 400, 2, button='right')

2.3鼠标控制函数click( )

该click( )函数模拟在鼠标在指定坐标单击指定鼠标按键。“点击”的定义是按下按钮然后松开。button关键字可以设置为'left'、'middle'、 以及'right'以指定点击哪个鼠标按钮。

# 导入库

import pyautogui

# 在（114，514）坐标单击鼠标左键

pyautogui.click(114,514,button='left')

2.3.1 click( )可选关键字：点击次数与停顿时间

若要进行多次单击，请将整数传递给clicks关键字参数。另外，您可以将浮点数或整数传递给interval关键字参数，以指定单击之间的暂停量（以秒为单位）。

# 导入库

import pyautogui

# 在（114，514）坐标单击两次鼠标左键

pyautogui.click(114,514,clicks=2,button='left')

# 在（114，514）坐标单击两次鼠标左键，每次间隔0.25秒

pyautogui.click(114,514,clicks=2, interval=0.25,button='left')

2.4鼠标控制函数scroll( )

鼠标控制函数scroll( )可以通过调用该函数并传递整数次数，在当前坐标模拟鼠标滚轮的滚动操作。每次的滚动量因平台而异。通过传入指定坐标以便在执行滚动之前移动鼠标光标。

# 导入库

import pyautogui

# 在当前位置向上滚动10单位量

pyautogui.scroll(10)

# 在(114,514)坐标向下滚动10单位量

pyautogui.scroll(114,514,-10)

3.键盘控制函数

3.1键盘控制函数write( )

键盘控制函数write( )可以模拟键盘输入指定的字符串

# 导入库

import pyautogui

# 模拟键盘输入Hello world

pyautogui.write('Hello world!')

3.1.1 write( )可选关键字：输入延迟间隔

若希望在按下每个字符键之间添加延迟间隔，可以为其传入关键字interval

# 导入库

import pyautogui

# 模拟键盘输入Hello world,输入两个字符之间的间隔为0.25秒

pyautogui.write('Hello world!', interval=0.25)

 3.2键盘控制函数press( )

键盘控制函数press( )模拟按下一个键然后释放它。需要注意的是，esc，shift这些热键也是可以通过输入字符串进行触发的

# 导入库

import pyautogui

# 模拟键盘输入H

pyautogui.press('H')

# 模拟键盘输入热键Enter

pyautogui.press('Enter')

4.进阶操作

4.1目标图片需要一定时间才会出现，那么如何使得查找图片的函数（pyautogui.locateCenterOnScreen）一直运行？

# 该方法用于获取目标图像所在位置，只要没找到图像就一直找

def get_position(word):

up_left = None

while up_left == None:

up_left = pyautogui.locateCenterOnScreen('../目标路径/{}.png'.format(word),confidence=0.9)

return up_left

将该方法封装为一个新的函数进行递归调用，那么只要目标图像没有出现（在函数中体现为无法获取目标图像坐标），那么查找图片的函数（pyautogui.locateCenterOnScreen）就会一直尝试获取目标图像坐标，直到获取成功后返回坐标，函数结束。

常见问题指南

1.为什么自动化程序可以正确返回目标UI位置但是无法执行对应操作？

可能是该程序含有反脚本机制检测，请以管理员模式运行Pycharm

2.出现报错如下：OSError: Failed to read ../automation/template/你好.png because file is missing, has improper permissions, or is an unsupported or invalid format

可能是路径中含有中文，请将中文内容修改。或者是函数无法检索到该文件，请仔细核对文件名和路径

3.自动化程序之前可以运行但是后来不行了

请仔细检查UI是否已经发生变化导致函数无法检索到。或者是更换了运行该函数的屏幕，分辨率变化后需要重新截图或者用回之前的屏幕

基于图像识别实现星穹铁道自动化项目

基于图像识别实现星穹铁道自动化（附项目源码与教程）

该项目基于图像识别技术，实现了刷取副本自动化，由于遗器与角色进阶材料更新较为频繁，且仅仅只是对项目内代码简单复用即可实现补全，因此目前项目只实现了拟造花萼（金），拟造花萼（赤），历战余响的自动刷取，如果该文章浏览量数据理想，评论区大量催更的话，我会尽快完成项目的补全哦~原创不易，还恳请各位多多支持！

# pyautogui库用于自动化鼠标键盘事件

import pyautogui

# 用于控制滚轮事件频率，使其更加自然

import time

# 该方法用于获取目标图像所在位置，只要没找到图像就一直找

def get_position(word):

up_left = None

while up_left == None:

up_left = pyautogui.locateCenterOnScreen('../automation/template/{}.png'.format(word),confidence=0.95)

return up_left

# 单击

def click(position):

pyautogui.click(position[0],position[1],button='left')

# 输入刷副本相关参数

type = input('今天想刷啥类型副本')

material = input(f'今天想刷{type}中的哪个副本')

frequency = int(input(f'今天想刷{material}几次呢?'))

# 在开始菜单中选择星穹铁道

click(get_position('xing_tie'))

print('星铁已经就绪')

# 虽然UI已经出现，但是程序还未准备就绪，需要等待

time.sleep(1)

# 于启动器界面启动游戏

click(get_position('qi_dong'))

print('星穹铁道，启动！')

# 于游戏界面开始游戏

click(get_position('start'))

print('创死它！')

# 于游戏中点击esc键打开菜单

if get_position('main') != None:

pyautogui.hotkey('esc')

print('打开菜单')

# 于菜单界面打开指南

click(get_position('guide'))

print('康康指南')

if pyautogui.locateCenterOnScreen('../automation/template/today_task.png', grayscale=True) != None:

click(get_position('today_task'))

# 找到欲拖拽目标type

pyautogui.moveTo(get_position('gloden_flower'))

print('找到预定滚动目标')

# 没找到预定目标type就往下滚动列表

while pyautogui.locateCenterOnScreen('../automation/template/{}.png'.format(type),confidence=0.9) == None:

pyautogui.scroll(-1)

# 慢点滚，看得我眼睛疼

time.sleep(0.5)

print('开始滚动')

# 金花

if type == 'gloden_flower':

click(get_position('gloden_flower'))

print('找到预定目标')

# 金花_经验

if material == 'exp':

pyautogui.click(get_position('exp')[0] + 500, get_position('exp')[1] + 100)

# 金花_光锥经验

elif material == 'weapon_exp':

pyautogui.click(get_position('weapon_exp')[0] + 500, get_position('exp')[1] + 100)

# 金花_信用点

elif material == 'credit_point':

pyautogui.click(get_position('credit_point')[0] + 500, get_position('exp')[1] + 100)

# 红花

elif type == 'red_flower':

click(get_position('red_flower'))

print('找到预定目标')

# 找到欲拖拽目标material

pyautogui.moveTo(get_position('destory'))

print('找到预定滚动目标')

# 没找到预定目标material就往下滚动列表

while pyautogui.locateCenterOnScreen('../automation/template/{}.png'.format(material), confidence=0.99) == None:

pyautogui.scroll(-1)

# 慢点滚，看得我眼睛疼

time.sleep(0.5)

print('开始滚动')

# 红花_毁灭

if material == 'destroy':

pyautogui.click(get_position('destory')[0] + 500, get_position('destory')[1])

# 红花_存护

elif material == 'preserve':

pyautogui.click(get_position('preserve')[0] + 500, get_position('preserve')[1])

# 红花_巡猎

elif material == 'hunting':

pyautogui.click(get_position('hunting')[0] + 500, get_position('hunting')[1])

# 红花_丰饶

elif material == 'abundance':

pyautogui.click(get_position('abundance')[0] + 500, get_position('abundance')[1])

# 红花_智识

elif material == 'knowledge':

pyautogui.click(get_position('knowledge')[0] + 500, get_position('knowledge')[1])

# 红花_同谐

elif material == 'harmony':

pyautogui.click(get_position('harmony')[0] + 500, get_position('harmony')[1])

# 红花_虚无

elif material == 'nothingness':

pyautogui.click(get_position('nothingness')[0] + 500, get_position('nothingness')[1])

# 每周副本

elif type == 'weekly_copy':

click(get_position('weekly_copy'))

print('找到预定目标')

# 找到欲拖拽目标material

pyautogui.moveTo(get_position('doomsday_beast'))

print('找到预定滚动目标')

# 没找到预定目标material就往下滚动列表

while pyautogui.locateCenterOnScreen('../automation/template/{}.png'.format(material), confidence=0.99) == None:

pyautogui.scroll(-1)

# 慢点滚，看得我眼睛疼

time.sleep(0.5)

print('开始滚动')

# 末日兽

if material == 'doomsday beast':

pyautogui.click(get_position('nothingness')[0] + 500, get_position('nothingness')[1])

# 可可利亚

if material == 'cocolia':

pyautogui.click(get_position('cocolia')[0] + 500, get_position('cocolia')[1])

# 幻胧

if material == 'hazy':

pyautogui.click(get_position('hazy')[0] + 500, get_position('hazy')[1])

# 进入战斗

click(get_position('enter_fighting'))

# 开始战斗（编队页面）

click(get_position('start_fighting'))

# 根据战斗次数决定循环次数

for i in range(frequency-1):

# 再打一次

click(get_position('fight_again'))

全项目文件

链接：https://pan.baidu.com/s/13tkt10-rVJRzchdnLQZPyw?pwd=1234 

提取码：1234