七、如何测试Windows应用程序

1. 前言

本教程主要讲解如何使用AirtestIDE进行Windows应用程序的自动化测试（以网易云音乐Windows版为案例）。

通过阅读本文，你将学会：

  • 使用AirtestIDE对一个Windows软件窗口进行脚本录制
  • 如何调用Windows操作的接口
  • 如何在脚本和命令行里指定连接某个Windows窗口

2. 基本原理

AirtestIDE对普通Windows应用程序的测试支持，主要依靠图像识别框架（Airtest）进行位置定位，使用 pywinauto的操作接口进行模拟操作。

Windows原理图

Poco在Windows上的支持暂时尚未推出，我们将会尽快推出该功能，敬请期待。

3. 在AirtestIDE中连接Windows窗口

要使用AirtestIDE测试某个Windows程序，首先要将待测试的Windows窗口与AirtestIDE进行连接，其实也就是将Windows窗口的句柄告诉给AirtestIDE。在成功连接窗口后，Airtest能够将该窗口作为一个设备，接下来就像在操作一台Android设备一样，能够对Windows窗口进行图像识别、点击操作等。

注意： 由于选定连接Windows窗口后，在AirtestIDE中操作、运行脚本时，将会依赖这个特定的窗口句柄。因此在窗口选定后请不要随意关闭，否则会导致运行时无法找到对应窗口而报错。

1） 常规连接方法-一键嵌入

AirtestIDE提供了一键嵌入Windows窗口的功能，如下所示：

默认连接方法

点击AirtestIDE的选定窗口按钮，将可以选择桌面上一个已经启动的Windows应用（此时窗口边缘将会显示绿色/红色方框），把它嵌入到AirtestIDE中。嵌入窗口后，可以方便地在AirtestIDE中操作窗口、录制语句、运行脚本。

或者我们也可以点击旁边的 搜索窗口 按钮，找到我们需要测试应用的标题，然后点击右侧的 连接 按钮来嵌入我们的Windows应用窗口进行自动化测试：

image-20210820174705980

2） 另一种备用的连接方法

由于Windows应用的底层实现各不相同，有些应用窗口如果使用默认的一键嵌入方法，在嵌入到AirtestIDE里之后会遇到一些问题（例如嵌入后无法用鼠标操作、无法正常嵌入、嵌入后无法显示图像等）。

针对这些问题，我们提供了一种 无嵌入连接 的方案，请在AirtestIDE的顶部菜单栏，依次找到选项—设置，然后找到Device-Windows Embed Backup Method，勾选后并点击OK，之后即可使用备用方案（即无嵌入模式）来连接窗口。

接下来的连接方式和常规方法一样，点击选定窗口，然后把鼠标移动到待测试窗口上，单击左键选择待测窗口程序：

备用嵌入方案

从图中可以看到，这种窗口连接方式不会将Windows窗口嵌入到AirtestIDE里，虽然在脚本录制时不如默认嵌入方式简单好用，但是能够避免一些窗口嵌入带来的问题。

3） 桌面模式

假如想要测试的窗口不止一个（拥有多个不同的窗口句柄），单独嵌入一个窗口可能无法满足测试需求，此时我们也提供了第三种方案：桌面模式。

桌面模式入口

点击桌面模式按钮，此时AirtestIDE右侧的设备窗口将会完全隐藏，进入Windows桌面模式。

在此模式下，录制脚本与运行脚本都与正常情况下没有区别，只不过执行时将会对整个桌面进行截图识别，甚至可以识别到AirtestIDE代码窗口里的截图语句（因此在执行脚本时，可以在AirtestIDE的脚本编写窗口，单击鼠标右键选择图片/代码模式切换 ，将脚本编辑窗口的图片切换成代码模式，避免脚本界面里的截图干扰执行结果）。

4） 连接注意事项

  • 由于在选定窗口时，桌面上可能会有不少同时打开着的其他窗口，导致选择时的绿色/红色方框不一定能够很准确地框选到被测应用，请大家在点击选定窗口按钮之前，尽可能先把所有其他无关窗口都最小化，这样做可以让窗口选择更准确。
  • 为了防止出现异常情况，请不要选择自己的桌面、AirtestIDE软件本体。因为窗口嵌入的功能原理是，将一个Windows窗口设置为IDE的子窗口，因此如果试图连接桌面，可能会导致无法预料的异常情况发生。如果只是想测试桌面上的所有窗口，可以选择我们的桌面模式来录制脚本。
  • 由于Windows窗口在截图时需要记录分辨率，因此把窗口嵌入到IDE后大小将会被固定，无法修改。如果觉得嵌入后窗口过大，可以在嵌入之前先将窗口调整至合适大小再进行嵌入。
  • 对于嵌入AirtestIDE后出现异常情况的应用窗体，我们尽量使用非嵌入模式/桌面模式来进行测试。

5）退出Windows连接

  • 直接关闭AirtestIDE即可退出本次Windows连接，并将先前嵌入的窗口自动弹出
  • 也可以通过右上角的Disconnect current device按钮来退出窗口连接

退出windows模式

4. 录制与编写Airtest脚本

在成功连接上Windows窗口后，就相当于我们已经连接上了一台设备，接下来可以对它进行脚本的录制与回放了。

1） 生成截图语句

首先，touch / wait / exists / assert_exists / assert_not_exists等Airtest带有截图的语句，与在Android/iOS设备上录制并没有太大区别：

image

但是需要注意的是，在使用鼠标拖拽框选好想要截图的位置后，需要双击该截图区域才能完成截图，而不会在鼠标松开时自动完成截图，这也是Windows下截图的最大区别。

因此截图的步骤是：

  • 拖动鼠标框选合适的区域
  • 双击鼠标完成截图
  • 点击鼠标右键可以重新进行框选
  • 按Esc按钮可以退出本次截图操作

以及，在录制swipe语句时，在完成截图区域框选后，需要单击滑动终点完成语句录制。

（在AirtestIDE1.2.10及以上版本中，拖拽框选好截图位置后松开鼠标即可完成截图，也不需要双击截图区域了）

2） 调用Windows接口

和Android/iOS一样，Airtest也对Windows下的常用操作进行了封装，底层操作接口使用的是pywinauto库。

因此，在编写Windows应用的测试脚本时，我们可能需要查阅以下几个API文档：

3）一个简单的示例

为了方便演示，我们假设这个脚本没有在命令行中传入参数，而是在脚本里使用connect_device接口来连上一个句柄为123456的窗口，并对它进行一些操作：

  1. from airtest.core.api import *
  2. dev = connect_device("Windows:///123456")
  3. # 通用的接口调用方式，与其他平台相同：
  4. touch(图片)

假如我们希望能够调用一些Windows的专属操作，比如查阅了Airtest的Windows专属API文档后，我们发现有一些操作是只有Windows窗口才有的：

  1. # 调用Windows专属的接口，例如获取当前窗口的标题内容
  2. print(dev.get_title())
  3. # 把窗口移动到某个坐标位置
  4. dev.move((100, 200))

接下来，假设我们现在想要使用鼠标滚轮，在查阅Airtest的API后发现，Airtest的Windows模块并没有封装鼠标滚轮的功能，此时我们可以进一步查询pywinauto的文档，寻找到mouse相关的章节后，就知道如何调用鼠标滚轮接口了：

  1. dev.mouse.scroll(coords=(80, 100), wheel_dist=1)

4）输入keyevent

在Android中，我们可以通过keyevent("HOME")来实现按下HOME键的操作，而在Windows中，我们同样可以通过keyevent接口发送一些按键响应。Android的按键码是基于ADB的，而Airtest的Windows模块则封装使用了 pywinauto 支持的按键码，请查阅pywinauto.keyboard文档内容来编写Windows下的keyevent接口参数：

  1. # 在pywinauto中，符号^也代表了CTRL键，因此^a即为全选（Ctrl+A）
  2. keyevent("^a")
  3. # 例如这是删除键的输入方式，需要加上括号{}
  4. keyevent("{DEL}")

请大家根据实际需求，查阅文档后再编写按键响应的代码。

5. 如何在运行脚本时，指定连接某个窗口

在AirtestIDE的Windows模式中，运行脚本和查看报告与其他平台并无不同：

image

然而，最需要注意的一点是：在AirtestIDE里连接的窗口，都是用窗口句柄连接的。窗口句柄是每个Windows窗口对象拥有的独一无二的32位无符号整数，而且每次打开窗口，这个数值都会变化。

这就意味着，假如我们用某个窗口嵌入到AirtestIDE里写出了一个脚本，虽然这次可以直接运行，但是通过复制AirtestIDE里的脚本命令行的方式，是无法保证下一次还能够运行的。因为AirtestIDE里的命令行，将会有这样的参数内容--device Windows:///句柄，而下次再打开窗口，可能句柄已经发生了变化。

因此，我们也可以不使用句柄，而是通过其他的方式来连接窗口。Airtest的Windows模块，使用了pywinauto的connect接口来连接窗口，因此除了句柄以外，我们可以通过窗口标题来连接：

  1. # 连接一个Windows窗口，窗口句柄为123456
  2. Windows:///123456
  3. # 连接一个Windows窗口，窗口名称匹配某个正则表达式
  4. Windows:///?title_re=Unity.*
  5. # 连接windows桌面，不指定任何窗口，对应IDE的桌面模式
  6. Windows:///

在命令行中假如想使用窗口名称连接，不需要添加引号等符号，直接这样写：

  1. airtest run test.air --device Windows:///?title_re=Unity.*

6. Poco支持

1） 接入了Poco-SDK的Windows窗口

有一些Windows-app已经接入了Poco（例如Unity游戏窗口），我们同样能够使用AirtestIDE来方便地查看和选中UI节点。但是在使用这个功能前，需要事先告诉AirtestIDE这个Windows窗口所在位置以及窗口大小。

在“选项”-“设置”-“Poco”，选择“Windows Content Area Rect”，框选窗口主画面后双击确认(右键/esc可取消)，随后即可开始使用Poco相关功能了，如图所示：

image

2） Poco-Windows支持

针对Windows窗口的Poco支持，我们正在完善文档和功能，敬请期待。