开源/免费界面自动化测试工具对比研究

Posted 2021-04-29 DevOps

摘要：

随着我行自动化测试实施范围的不断扩大，参与界面自动化测试的应用系统越来越多。我行的应用系统现阶段多采用商用工具QTP（UFT）作为执行工具来进行界面自动化测试，采购的QTP license是有限的，使得资源的竞争越来越激烈。未来，使用开源/免费的界面自动化测试代替QTP，是必然发展的趋势。本文基于前期调研结果，对比分析了几款业界主流的开源界面自动化测试工具，供自动化测试相关人员学习参考。

关键字：开源、自动化测试、Selenium、UIAutomation

• 调研背景与意义

自动化测试由手工测试发展而来，在当前商业银行“持续迭代、快速交付”的大背景下，自动化测试是必然趋势。对于投产前的全量回归测试和大量数据的业务逻辑覆盖测试，自动化测试将大大的减少人力投入，提升测试效率，扩大测试覆盖面，降低投产风险。

前期，我行界面自动化测试工具主要依赖QuickTest Professional（简称QTP，现已升级更名为UFT）。该软件具有价格昂贵、客户端架构庞大、license有限、对部分C/S类应用（比如：BoEing客户端、银企通客户端、海外分行OIBS客户端等）支持不良等原因，其被开源或免费的自动化测试工具取代是必然趋势。

• 工具介绍

前期，系统支持部组织调研了十余款界面自动化测试工具，下面介绍几种业界主流的开源/免费界面自动化测试工具。

2.1 Selenium

Selenium是Throught Works公司开发的开源Web功能测试工具集，是当前web端系统最受欢迎的开源自动化测试工具之一。Selenium包含了测试的录制（Selenium IDE），测试的并行处理（Selenium Grid），编写与运行（Selenium Remote Control）。Selenium Grid主要架构图如图1所示，Selenium Grid主要包含两个核心组件：Selenium Hub与Remote Control（简称RC，或Selenium RC）。Selenium hub负责分发测试用例给Selenium RC；Selenium RC负责调用浏览器驱动运行自动化测试脚本。

图1 Selenium Grid架构图

Selenium中定义了如下强大的描述元素的定位方法：

(1)通过id、name定位，如：selenium.tye(“id=abc”,“百度”)；selenium.type(“name=search”,“百度”)。

(2)通过link=链接文字定位，如selenium.click(“link=最近更改”)。

(3)根据xpath定位，如selenium tpye(“xpath=//input[@name=‘user.email’,“[e-mail]”)。

(4)Dom选择及Css选择器定位（不常用）。

2.2 UIAutomation

UIAutomation是微软开发的界面自动化测试工具，是.NET Framework的组件之一，可进行C/S类应用的界面自动化测试。此自动化库一开始就是为可访问性和UI测试自动化任务而专门设计的，使用UI自动化库来测试运行支持.NET Framework的操作系统，例如Windows XP、Windows Vista、Windows 7、Windows Server 2003和Windows Server 2008等操作系统主机上的Win32应用程序、.NET Windows窗体应用程序和WPF应用程序。

在UIAutomation中，所有的窗体、控件都表现为一个AutomationElement，AutomationElement中包含此控件或窗体的属性，在实现自动化的过程中，通过其相关属性进行对控件自动化操作。所有显示在桌面上的UI，其实际上是一个UI Tree，根节点是Desktop。在UIAutomation中，根节点表示为AutomationElement RootElement。通过根节点，可以通过窗体或控件的Process Id、Process Names或者Windows Name找到相应的子AutomationElement，例如Dialog、Button、TextBox、CheckBox等标准控件，通过控件所对应的Pattern进行相关的操作。

UIAutomation的体系结构如图2所示：

2 UIAutomation的体系结构

(1)在服务端由UIAutomationProvider.dll和UIAutomationTypes.dll提供；

(2)在客户端由UIAutomationClient.dll和UIAutomationTypes.dll提供；

(3)UIAutomationCore.dll为UI自动化的核心部分，负责Server端和Client端的交互；

(4)UIAutomationClientSideProvides.dll为客户端程序提供自动化支持。

2.3 Watir

Watir是基于Ruby库的开源Web自动化测试工具，支持Firefox、Opera、IE等浏览器。Watir脚本以.rb为文件扩展名，脚本头应为“require ‘watir’”，确保可以访问Watir工具。Watir脚本的运行模式是Watir-WebDriver，Watir-WebDriver是基于Ruby开发web驱动框架，支持所有的html元素。目前网上关于Watir的介绍资料较少。

在设计Watir自动化测试脚本时需要熟悉常用的Ruby脚本语法。Watir常用语法列举如下：

(1)创建一个IE的测试实例：ie=Watir::IE.new或者使用start方法创建一个浏览器实例并转到一个页面，ie=Watir::IE.start(“http://abc.com”;)；

(2)页面导航：ie.goto(“http://abc.com”;)；

(3)操纵超链接、复选框、下拉框等Web页面对象，例：使用name属性设置复选框，ie.checkbox(:name,”check”).set。

2.4 Sahi

Sahi是一款由印度公司Tyto Software开发的基于业务的开源Web自动化测试工具。Sahi运行为一个代理服务器，并通过注入javascript来访问Web页面中的元素。Sahi支持HTTPS并且独立于Web站点，简单小巧却功能强大。它相对于Selenium等自动化测试工具，在动态ID元素查找和隐式页面等待处理等方面具有一定的优势。

Sahi简单易用，能够很好地支持Ajax和Web2.0技术，同时适用于敏捷和瀑布两种项目模式。Sahi自带录制功能，支持几乎所有的浏览器，且对JS支持较好，具备页面等待判断机制、内置Java异常报告、支持Ajax等优势。尤其值得一提的是，Sahi内置的智能页面等待机制，能够自动判断Ajax请求是否已经处理完毕，然后继续下一步操作。并且这一点对于用户是“隐式”的，不需要增加额外的代码。

Sahi的工作原理大致分为三步：录制、精炼脚本和回放，具体步骤如下：

(1)录制：首先将Sahi其设置为浏览器的代理服务器，这样Sahi的脚本就能够通过request请求，注入到JavaScript里以访问Web页面中的元素。

(2)精炼脚本：录制的脚本都是指定元素并唯一操作的，这时就需要对代码进行重构，抽取出核心的功能块，对其中的元素进行参数化处理，以实现重用。脚本中的数据可以从外部的数据库或文件中读取而来。同时，也可调用Sahi的API或外部Java等API实现一些特定的功能。

(3)回放：自动执行Sahi精炼好的脚本，并生成测试报告。

2.5 Katalon Studio

Katalon Studio是一款功能强大的测试自动化解决方案，适用于Web应用程序，支持Mobile、Web、API等类型的自动化测试。它基于Selenium和Appium框架构建，Katalon Studio利用这些解决方案实现集成软件自动化。

Katalon Studio可以集成到CI/CD流程中，并且可以与QA流程中的流行工具配合使用，包括qTest，JIRA，Jenkins和Git。它还提供一个称之为Katalon Analytics的功能，这个功能可以通过仪表板为用户提供测试执行报告的全面视图，包括图表、图形和指标等。Katalon Studio可以管理页面元素、测试数据、测试案例、生成自动化测试报告等，覆盖整个自动化测试流程及所需资产。Katalon Studio允许用户自定义Method，Test Listeners、KeyWord，也可以导入外部的jar包实现更为复杂的功能，该工具的扩展性很强。

2.6 Robot Framework

Robot Framework是由诺基亚-西门子基于Python开发的一套开源自动化测试工具，采用关键字驱动，并可以通过Python或Java实现的测试库进行扩展，用户可以使用与创建测试用例相同的语法从现有的关键字创建新的更高级别的关键字。

Robot Framework框架是跨平台的，独立于操作系统和应用程序。核心框架使用Python实现，支持Python2和Python3，并且还可以在Jython（JVM），IronPython（.NET）和PyPy上运行。该框架有丰富的测试库生态，由各种通用测试库（包括内置库、扩展库和自定义库）和工具组成，这些库被作为单独的项目开发。

Robot Framework作为一款跨平台的通用的、与应用程序和技术无关的测试框架，具有一个高度模块化的架构，具体的架构如下：

3 Robot Framework测试架构图

该架构清晰的将测试工作分成了4层：数据层、测试框架、测试库或第三方测试工具、被测系统。Robot Framework起到了一个承上启下的测试管理平台，以测试库和第三方工具驱动测试数据对被测系统开展自动化测试，整个测试过程Robot Framework不与被测系统有任何关联。

• 工具分析对比

这些工具都是开源/免费的界面自动化测试工具，我们可以根据需要对其进行二次开发与封装，具有很强的灵活性。

3.1 支持浏览器及操作系统

以上工具都具有跨平台性的特征。

Selenium支持多种浏览器，支持Safari、Google、Chrome、Internet Explorer、Firefox等多种浏览器，可以在Mac、Linux、Windows等多种操作系统上运行；

UIAutomation主要支持客户端应用的录制，对于web端的控件识别能力有限，不建议使用其实施B/S类应用的界面自动化测试。

Sahi同样支持Safari、Google、Chrome、Internet Explorer、Firefox等多种浏览器，可以在Windows、Linux等操作系统上运行；

Watir-WebDriver几乎支持所有的浏览器，比如Chrome、Internet Explorer、Firefox等多种浏览器，但是不支持Safari，可以在Mac、Linux、Windows等多操作系统上运行；

Katalon Studio支持Chrome、Internet Explorer、Firefox等多种浏览器，可以在Mac、Linux、Windows等多操作系统上运行。

Robot Framework可通过集成插件支持多种浏览器，可以在Mac、Linux、Windows等多操作系统上运行。

3.2 入门的难易程度

Selenium可以直接的通过IDE进行录制、回放等，降低了入门门槛，脚本的调试和维护需要一定的编程基础；

UIAutomation可以使用spy++或者inspect等工具获取对象定位信息，再执行脚本编辑，入门门槛较高；

Watir要求测试人员必须懂基本的Ruby语法规则，需要使用命令行安装，搭建集成环境复杂，入门门槛较高；

Sahi自带录制器，可通过点击页面来录制脚本，并对脚本进行精炼，支持多种数据源，入门门槛中等；

Katalon Studio工具支持不同级别的测试人员使用。非程序员可以使用Object Spy来记录测试脚本。程序员可以更加节省构建和维护脚本的时间，并基于工具提升扩展性，灵活实现所需功能；

Robot Framework需要测试人员自己编写脚本，对于关键字测试驱动熟悉的测试人员相对容易上手，入门门槛较高。

3.3 支持的语言

Selenium支持多种编程语言，例如Java、php、Python、Ruby等。与其他自动化测试相比，Selenium给予用户自定义测试脚本的多种方式。

UIAutomation主要支持C#；Watir仅仅支持Ruby语言；Sahi主要支持Sahi script，同时还支持Java和Ruby；Katalon Studio支持Java和Groovy；Robot Framework支持Python、Java。相比较而言，Selenium支持多种编程语言，灵活性较强。

根据以上分析和对比，整理表1工具分析对比图。

表 1  工具对比分析图

3.4 总结

综上，在web端的录制中Katalon Studio相对简单易用，录制脚本可视化强，案例编写维护方便；Selenium支持脚本语言较多。而UIAutomation在客户端的录制上面比较成熟，定位信息准确。

4 结束语

本文对比总结了几种开源/免费的界面自动化测试工具。

目前，我行自动化测试平台（ATP）为支持不同应用系统的界面自动化测试需求，已经封装了QTP、Selenium、UIAutomation三款界面自动化测试工具，对用户提供统一的描述语言，屏蔽了工具间的差异，降低了自动化测试的入门门槛，较好地的满足了项目使用需求。

后续，我们会进一步加强对开源/免费自动化测试工具的研究，逐步降低对商用工具的依赖。根据实际使用需求，适时引入新的界面自动化测试工具，并进行二次封装，满足不同类型应用系统的自动化测试需求，降低使用的难度，节省使用时间，提升测试效率。