三、Poco的介绍和入门教学

1. 前言

前面我们已经介绍了基于图像识别的测试框架Airtest,通过图像识别,已经可以编写大部分的测试脚本。但是在某些特殊情况下,例如对于游戏或App里的动态元素,通过图像识别来定位就较为困难。

并且,如果我们测试的应用,UI界面迭代比较频繁的话,我们的Airtest图像脚本也要频繁迭代,成本比较高;所以,我们的Airtest Project解决方案也提供了另外一种基于UI控件搜索的自动化框架 Poco,下面我们简单介绍下Poco框架并且通过示例看下Poco如何使用。

2. Poco介绍

Poco是一款基于Python语法的、与引擎无关的自动化测试框架,它基于控件搜索原理,可以准确定位到应用里面的控件,并且对控件进行点击、滑动等操作:

image-20210817173431363

3. Poco测试不同应用的示例

1)原生应用

对于Android和iOS平台上的原生应用(包括系统界面),可以直接使用Poco

准备工作:下载 Airtest IDE,解压并运行

① Android 原生应用
  1. 准备一台Android手机,打开USB调试功能,然后连接电脑。正常情况下,就可以在Airtest IDE中看到手机列表: image
  2. 点击connect,即可在Airtest IDE 中看到设备屏幕。现在进入Android主界面,点击左侧的Poco辅助窗,选择Android模式,即可看到当前界面的UI树结构: image
  3. 选择Poco辅助窗口中的Poco Inspector按钮,即可对页面上的UI控件进行定位: image
  4. 与Airtest的使用方式类似,我们可以使用Poco提供的方法对界面上的元素进行操作:
  1. # 选择Android模式时,AirtestIDE自动插入的初始化语句
  2. from poco.drivers.android.uiautomation import AndroidUiautomationPoco
  3. poco = AndroidUiautomationPoco(use_airtest_input=True, screenshot_each_action=False)
  4. # 点击设置图标
  5. poco(desc="设置").click()

如上所示代码,即可通过UI属性进行元素定位,并进行操作。

关于使用Poco测试Android原生应用的更多细节,可以参考教程(五、如何在Android手机上进行自动化测试(下))。

⑤ iOS 原生应用

对于iOS原生应用,Poco同样可以获取到UI层级结构。除了下载运行Airtest IDE之外,我们还需要运行ios-Tagent项目,才可以获取到iOS界面的UI信息。具体步骤如下

  1. 连接iOS手机,启动ios-Tagent项目,以Test方式运行到手机上。
  2. 使用iproxy命令启动代理 bash iproxy 8100 8100 如果希望在另外一台电脑连接iOS手机,可以安装wdaproxy
  3. 启动Airtest IDE, 输入proxy地址,即可连接iOS手机 image
  4. 选择Poco辅助窗中的iOS模式,即可看到当前界面的UI树结构: image
  5. 获取到界面UI层级关系之后,我们就可以用Poco提供的API来编写自动化脚本了~

2)游戏

由于游戏的界面是通过游戏引擎渲染出来的,游戏界面没有系统原生的控件信息,所以对于游戏,我们需要接入 poco-sdk 才能获取到游戏界面中的控件信息。下面以Unity开发的手游为例,介绍如何在Android和iOS平台进行连接。

① Android 游戏
  1. 参考 引擎接入指引,给游戏源码接入Poco-sdk,并打出Android包,安装到安卓测试设备上。
  2. 启动Airtest IDE,并在安卓手机上启动对应的游戏后,选择Poco辅助窗中的Unity模式,即可看到当前界面的UI树结构: image
  3. 在选择Unity模式之后,Airtest IDE会自动插入poco的初始化代码:
  1. from poco.drivers.unity3d import UnityPoco
  2. poco = UnityPoco()

之后的脚本编写,就可以利用Poco提供的API对游戏界面上的元素进行操作了

② iOS 游戏
  1. 同样的,先完成引擎SDK接入,然后通过Airtest IDE连接iOS手机

  2. 与Android不同的是,iOS Unity Poco的连接需要启动两个proxy,8100端口用于连接iOS手机,5001端口用于连接poco-sdk的rpc端口 iproxy 8100 8100 iproxy 5001 5001 ,这里的iproxy相当于adb中的forward

  3. 连接好iOS手机之后,选择Poco辅助窗中的Unity模式,即可看到当前界面的UI树结构: image

  4. 之后即可通过Poco提供的API,对iOS上的游戏编写自动化测试脚本了。

4. Poco代码示例

Poco脚本与Airtest脚本的差别很大,Airtest脚本基本上离不开截图,但Poco脚本都基于控件定位和控件操作,我们可以从下述示例来了解下Poco脚本:

  1. # -*- encoding=utf8 -*-
  2. __author__ = "AirtestProject"
  3. from airtest.core.api import *
  4. auto_setup(__file__)
  5. # Android poco的初始化脚本
  6. from poco.drivers.android.uiautomation import AndroidUiautomationPoco
  7. poco = AndroidUiautomationPoco(use_airtest_input=True, screenshot_each_action=False)
  8. # 控件点击操作
  9. poco("网易云音乐").click()
  10. # 控件滑动操作
  11. poco(text="我好像在哪见过你 (电影《精灵王座》主题曲)").swipe([0.0492, -0.3799])
  12. # 如果存在控件,则进行控件点击
  13. if poco("star_single").exists():
  14. poco("pos_input").child("Text").click()
  15. # 等待控件出现
  16. poco("basic").wait_for_appearance()
  17. # 获取控件文本属性
  18. score = poco("scoreVal").get_text()
  19. # 遍历控件和拖动控件
  20. for star in poco("playDragAndDrop").child("star"):
  21. star.drag_to(poco("shell"))

可以看到,poco脚本基本上是1个控件定位脚本,例如 poco("star_single") ,后面带上控件的操作,例如 click()get_text() 等。

关于Poco的定位方式,我们可以查看下述资料:

对于Poco控件操作的API,我们可以查看其API文档

5. Poco的平台支持情况

Poco在大多数平台中,需要事先接入Poco-SDK才可正常使用 ,在少数平台(如Android与iOS原生APP)可直接使用Poco,目前支持平台如下:

平台AirtestPoco
Android 原生APP直接使用
iOS 原生APP直接使用
Unity3DPoco-SDK接入文档
Cocos2dx-luaPoco-SDK接入文档
Cocos2dx-jsPoco-SDK接入文档
cocos-creatorPoco-SDK接入文档
EgretPoco-SDK接入文档
UE4Poco-SDK接入文档
Other engines可自行接入
WeChat Applet&webview参考文档 随着微信更新可能会失效
Windows目前仅支持接入了PocoSDK的游戏窗口
MacOS努力开发中,敬请期待

5. 更多详细资料参考

请查看Poco官方文档获得更多教程与API信息,这里是一些关注度较高的内容: