pyatuogui，pywinauto,win32模拟操作

近期由于工作需要，需要写个模拟操作类工具，所以找了一些资料，总结如下：

1 前言
PC 端自动化测试使用到的 python 模块主要有 pywinauto、win32gui、pyautogui，主要功能如下：

pywinauto：主要使用到 Application 类，用于应用程序管理（打开与关闭应用等）、窗口管理（最小化、最大化、关闭窗口）
pywin32：包含 win32gui、win32api、win32con 3个子模块，用于窗口管理（定位窗口、显示和关闭窗口、获取窗口位置等）
pyautogui：屏幕控制（截屏等）、鼠标控制（移动鼠标、单击、双击、右击、拖拽等）、键盘控制（编辑、按键等）
在 pycharm 中运行以下代码，以安装上述包：

install.py

import os
 
# https://pypi.douban.com/simple  # 豆瓣镜像
# https://pypi.tuna.tsinghua.edu.cn/simple  # 清华镜像
 
mirror = " -i https://pypi.douban.com/simple"
 
os.system("python -m pip install --upgrade pip" + mirror)  # 更新 pip
 
os.system("pip install pywinauto" + mirror)  # 安装 pywinauto
os.system("pip install pypiwin32" + mirror)  # 安装 pypiwin32 和 pywin32
os.system("pip install pyautogui" + mirror)  # 安装 pyautogui
注意：安装 pywin32 模块时，使用的是 pypiwin32，否则在导入包时会报错。

查看窗口标题、窗口类、窗口边界坐标、子窗口标题、子窗口类、鼠标位置等信息，可以使用 inspect.exe 和 UISpy.exe 等工具。

2 pywinauto
pywinauto 模块主要用于应用控制（打开、关闭应用等）窗口控制（最大化、最小化窗口等），也可以等位到控件，并对控件进行操作，如点击、编辑等。

对于 pywinauto 模块，主要使用其中的 Application 类，需要导入包，并定义一个 Application 类的对象。

from pywinauto.application import Application
 
app = Application(backend="win32")
说明：backend 属性有2个取值：win32 和 uia，win32 为默认值，backend 取值不同，接口调用差异较大。

2.1 应用控制
# 打开应用
app.start(app_path)
app.start(r"C:\Program Files (x86)\Tencent\QQ\Bin\QQ.exe")
 
# 连接应用
app.connect(path=app_path)
app.connect(path=r"C:\Program Files (x86)\Tencent\QQ\Bin\QQ.exe")
 
# 关闭应用
app.kill()
说明：待连接的应用必须是已经打开的应用，连接应用是为了将 app 对象与目标应用绑定，以实现对目标应用的控制。

2.2 窗口控制
（1）定位窗口

# 定位到窗口（class_name：窗口类名，title：窗口标题）
dlg = app.window(class_name, title)
dig = app.class_name
dlg = app[title]
 
# 判断窗口是否存在
dlg.exists()
（2）获取窗口信息

app.Notepad.print_control_identifiers()
输出如下：

Notepad - '无标题 - 记事本'    (L629, T124, R1359, B749)
['Notepad', '无标题 - 记事本Notepad', '无标题 - 记事本']
child_window(title="无标题 - 记事本", class_name="Notepad")
   | 
   | Edit - ''    (L638, T187, R1350, B711)
   | ['无标题 - 记事本Edit', 'Edit']
   | child_window(class_name="Edit")
   | 
   | StatusBar - ''    (L638, T711, R1350, B740)
   | ['StatusBar UTF-8', '无标题 - 记事本StatusBar', 'StatusBar  第 1 行，第 1 列', 'StatusBar 100%', 'StatusBar Windows (CRLF)', 'StatusBar']
   | child_window(class_name="msctls_statusbar32")
（3）最小化、最大化、恢复、关闭窗口

# 最小化窗口
dlg.minimize()
 
# 最大化窗口
dlg.maximize()
 
# 恢复窗口
dlg.restore()
 
# 关闭窗口
dlg.close()
2.3 控件控制
由于 windows 上一些控件的 class_name、title 等信息通常缺失，较难定位到具体控件，但记事本的各窗口和控件信息较全，本节以记事本为例，介绍控件的简单操作。

from pywinauto.application import Application
from time import sleep
 
app = Application(backend="win32")
app = app.start(r"C:\WINDOWS\system32\notepad.exe")  # 启动记事本
# app = app.start(r"notepad.exe")  # backend 取值为 win32 时，可以这样写
sleep(1)
app.Notepad["Edit"].TypeKeys(u"您好，记事本，我是 pywinauto")  # 定位到输入框，并输入文本
sleep(1)
app.Notepad.MenuSelect(u'文件->另存为(&A)...')  # 另存为
sleep(1)
app[u'另存为']['Edit'].TypeKeys(u"xxx.txt")  # 输入文件名
sleep(1)
app[u'另存为'][u'保存'].Click()  # 保存
sleep(1)
if app[u'另存为'].exists():
    app[u'确认另存为'][u"是"].Click()  # 替换原文件
3 pywin32
pywin32 包含 win32gui、win32api、win32con 3个子模块，主要用于窗口管理（定位窗口、显示和关闭窗口、窗口前置、窗口聚焦、获取窗口位置等），通常用的较多的是 win32gui，因此本文仅对此子模块进行介绍。在应用时，需要导入如下包：

import win32gui
import win32con
3.1 定位窗口
hwnd = win32gui.FindWindow(lpClassName=None, lpWindowName=None)  # 查找窗口，不找子窗口，返回值为0表示未找到窗口
hwnd = win32gui.FindWindowEx(hwndParent=0, hwndChildAfter=0, lpszClass=None, lpszWindow=None)  # 查找子窗口，返回值为0表示未找到子窗口
 
hwnd = win32gui.FindWindow("Notepad", u"无标题 - 记事本")
拓展：可以通过判断 hwnd 是否为0，确定窗口是否存在。 

3.2  显示窗口
（1）显示方式

win32gui.ShowWindow(hwnd, win32con.SW_SHOWNORMAL)
 
# SW_HIDE：隐藏窗口并激活其他窗口。nCmdShow=0。
# SW_SHOWNORMAL：激活并显示一个窗口。如果窗口被最小化或最大化，系统将其恢复到原来的尺寸和大小。应用程序在第一次显示窗口的时候应该指定此标志。nCmdShow=1。
# SW_SHOWMINIMIZED：激活窗口并将其最小化。nCmdShow=2。
# SW_SHOWMAXIMIZED：激活窗口并将其最大化。nCmdShow=3。
# SW_SHOWNOACTIVATE：以窗口最近一次的大小和状态显示窗口。激活窗口仍然维持激活状态。nCmdShow=4。
# SW_SHOW：在窗口原来的位置以原来的尺寸激活和显示窗口。nCmdShow=5。
# SW_MINIMIZE：最小化指定的窗口并且激活在Z序中的下一个顶层窗口。nCmdShow=6。
# SW_SHOWMINNOACTIVE：窗口最小化，激活窗口仍然维持激活状态。nCmdShow=7。
# SW_SHOWNA：以窗口原来的状态显示窗口。激活窗口仍然维持激活状态。nCmdShow=8。
# SW_RESTORE：激活并显示窗口。如果窗口最小化或最大化，则系统将窗口恢复到原来的尺寸和位置。在恢复最小化窗口时，应用程序应该指定这个标志。nCmdShow=9。
# SW_SHOWDEFAULT：依据在STARTUPINFO结构中指定的SW_FLAG标志设定显示状态，STARTUPINFO 结构是由启动应用程序的程序传递给CreateProcess函数的。nCmdShow=10。
（2）判断窗口是否最小化

# 若最小化，则将其显示
if win32gui.IsIconic(hwnd):
      win32gui.ShowWindow(hwnd, win32con.SW_SHOWNORMAL)
（3）关闭窗口

win32gui.PostMessage(hwnd, win32con.WM_CLOSE, 0, 0)
（4） 窗口置前并获得焦点

win32gui.SetForegroundWindow(hwnd)  # 设置前置窗口
win32gui.SetFocus(hwnd)  # 设置聚焦窗口
3.3 屏幕信息
（1）获取窗边界

left, top, right, bottom = win32gui.GetWindowRect(hwnd)  # 获取窗口边界
（2）屏幕缩放比

import win32api, win32con, win32print, win32gui
 
def get_screen_scale_rate():
    x = win32api.GetSystemMetrics(0) # 屏幕缩放后的宽度分辨率
    hDC = win32gui.GetDC(0)
    w = win32print.GetDeviceCaps(hDC, win32con.DESKTOPHORZRES)  # 屏幕真实的宽度分辨率
    return w/x
注意：在获取屏幕缩放比时，不要和 pyautogui 包同时使用，否则 x=w。

4 pyautogui
pyautogui 模块主要用于屏幕控制（获取屏幕尺寸、截屏等）、鼠标控制（移动鼠标、单击、双击、右击、拖拽、滚动等）、键盘控制（编辑、按键等）。在使用此模块时，需要导入如下包：

import pyautogui
4.1 屏幕控制
（1）获取屏幕分辨率

screenWidth, screenHeight = pyautogui.size()
（2）截屏

pyautogui.screenshot("my_screenshot.png", region=(100,100,500,500))  # region 为截屏区域，忽略表示截全屏
 
img = pyautogui.screenshot()
img.save('my_screenshot.png')
（3） 查找图片

coords = pyautogui.locateOnScreen('target_capture.png') # 在当前屏幕中查找指定图片(图片是当前屏幕某个区域的截图)
x, y = pyautogui.center(coords) # 获取定位到的图中间点坐标
 
x, y = locateCenterOnScreen('target_capture.png')  # 返回查找到的截图中心坐标
说明：此方法通常用于定位到控件。

4.2 鼠标控制
（1）获取鼠标位置与移动鼠标

# 获取鼠标位置
x, ypyautogui.position()
 
# 移动鼠标（x, y 为绝对位置，xOffset, yOffset 为相对偏移量，tween：渐变函数）
pyautogui.moveTo(x=100, y=100, duration=2, tween=pyautogui.linear)
pyautogui.moveRel(xOffset=None, yOffset=10, duration=0.0, tween=pyautogui.linear) # 相对原来的位置移动
（2）点击

# 单击鼠标（x, y 为点击位置，clicks：点击次数，interval：点击间隔，botton：取值有'left', 'middle', 'right'，对应鼠标的左、中、右，duration：点击持续时间，tween：渐变函数）
pyautogui.click(x=None, y=None, clicks=1, interval=0.0, button='left', duration=0.0, tween=pyautogui.linear)
pyautogui.click(x, y)  # 单击
pyautogui.rightClick(x, y)  # 右击
pyautogui.middleClick(x, y)  # 中击
pyautogui.doubleClick(x, y)  # 双击
（3） 拖拽

# 鼠标拖拽
pyautogui.dragTo(x=427, y=535, duration=3, button='left')
 
# 鼠标相对拖拽
pyautogui.dragRel(xOffset=100, yOffset=100, duration=3, button='left', mouseDownUp=False)
（4）滚动

pyautogui.scroll(-500)  # 向下滚 500 格
4.3 键盘控制
# 输入文本
pyautogui.typewrite(message='Hello world!', interval=0.25)
 
# 按键
pyautogui.press('esc')
pyautogui.press(['left', 'left', 'left'])  # 依次按多个按键
 
# 组合热键（从左到右依次按下按键，再从右到左依次松开按键）
pyautogui.hotkey('ctrl', 'c')
常用按键说明如下：

ctrl、shift、alt、esc、backspace、win：同键盘
capslock、numlock、scrolllock、insert、delete、home、end、pageup、pagedown、pause、printscreen：同键盘
f1、f2、f3、...、f12：同键盘
enter、return、\n：Enter键
tab、\t：Tab键
up、down、left、right：箭头键