自动化测试基础

Posted 2020-11-21 dongye95

一、 软件测试分类

1.1 根据项目流程阶段划分软件测试

1.1.1 单元测试

　　单元测试（或模块测试）是对程序中的单个子程序或具有独立功能的代码段进行测试的过程。

1.1.2 集成测试

　　集成测试是在单元测试的基础上，先通过单元模块组装成系统或子系统，再进行测试。重点是检查模块之间的接口是否正确。

1.1.3 系统测试

　　系统测试是针对整个产品系统进行的测试，验证系统是否满足需求规格的定义，以及软件系统的正确性和性能等是否满足其需求规格的要求。

1.1.4 验收测试

　　验收测试是部署软件之前的最后一个测试阶段。验收测试的目的是确保软件准备就绪，向软件购买者展示该软件系统能够满足用户的需求。

1.2 白盒测试、黑盒测试、灰盒测试

　　白盒测试与黑盒测试，主要是根据软件测试工作中对软件代码的可见程度进行的划分。这也是软件测试领域中最基本的概念之一。

1.2.1 黑盒测试

　　黑盒测试，指的是把被测的软件看做一个黑盒子，我们不去关心盒子里面的结构是什么样子的，只关心软件的输入数据和输出结果。

　　它只检查程序呈现给用户的功能是否按照需求规格说明书的规定正常使用、程序是否能接受输入数据并产生正确的输出信息。黑盒测试着眼于程序外部结构，不考虑内部逻辑结构，主要针对软件界面和软件功能进行测试。

1.2.2 白盒测试

　　白盒测试，指的是把盒子打开，去研究里面的源代码和程序执行结果。

　　它是按照程序内部的结构测试程序，通过测试来检验产品内部动作是否按照设计规格说明书的规定正常进行，检验程序中的每条逻辑路径是否都能按预定要求正确工作。

1.2.3 灰盒测试

　　灰盒测试介于黑盒测试和白盒测试之间。

　　可以这样理解，灰盒测试既关注输出对于输入的正确性，同时也关注内部表现。但这种关注不像白盒测试那样详细、完整，它只是通过一些表征性的现象、事件、标志来判断内部的运行状态。有时候输出是正确的，但内部其实已经错误了，这种情况非常多。如果每次都通过白盒测试来操作，效率会很低，因此需要采取灰盒测试的方法。

1.3 功能测试与性能测试

　　从软件的不同测试面可以划分为功能测试与性能测试

1.3.1 功能测试

　　功能测试主要检查世纪功能是否符合用户的需求，因此测试的大部分工作也是围绕软件的功能进行。设计软件的目的就是满足用户对其功能的需求，如果偏离了这个目的，则任何测试工作都是没有意义的。

功能测试又可以细分为很多种：逻辑功能测试，界面测试、易用性测试、安装测试、兼容性测试等。

1.3.2 性能测试

　　性能测试是通过自动化的测试工具模拟多种正常、峰值以及异常负载条件来对系统的各项性能指标进行的测试。

　　软件的性能包括很多方面，主要有时间性能和空间性能两种。

• 时间性能：主要是指软件的一个具体的响应时间。例如一个登陆所需要的时间，一个商品交易所需要的时间等。当然，抛开具体的测试环境，来分析一次事务的响应时间是没有任何意义的，它需要在搭建好的一个具体且独立的测试环境下进行。
• 空间性能：主要指软件运行时所消耗的系统资源，例如硬件资源，CPU、内存、网络宽带消耗等。

1.4 手工测试与自动化测试

从对软件测试工作的自动化程度可以划分为手工测试与自动化测试。

1.4.1 手工测试

手工测试就是由测试人员一个一个地去执行测试用例，通过键盘鼠标等输入一些参数，并查看返回结果是否符合预期结果。

手工测试并非专业术语，手工测试通常是指我们在系统测试阶段所进行的功能测试，为了更明显地与自动化测试进行区分，这里使用了手工测试这种说法。

1.4.2 自动化测试

　　自动化测试是把以人为驱动的测试行为转化为机器执行的一种过程。通常，在设计测试用例并通过评审之后，由测试人员根据测试用例中描述的规则流程一步步执行测试，把得到的世纪结果与期望结果进行比较。在此过程中，为了节省人力、时间和硬件资源，提高测试效率，便引入了自动化测试的概念。

自动化测试又可分为：功能自动化测试与性能自动化测试。

• 功能自动化测试：是把以人为驱动的测试行为转化为机器执行的一种过程。通过测试工具（或框架）录制/编写测试脚本，对软件的功能进行测试，并验证测试结果是否正确，从而代替部分的手工测试工作，达到节约人力成本和时间成本的目的。
• 性能自动化测试：通过性能功能来模拟成千上万的虚拟用户向系统发送请求，从而验证系统的处理能力。

1.5 冒烟测试、回归测试、随机测试、探索性测试和安全测试

这几种测试出现在软件测试的周期中，既不算具体明确的测试阶段，也不是具体的测试方法。

1.5.1 冒烟测试

　　是指在对一个新版本进行大规模的系统测试之前，先验证一下软件的基本功能是否实现，是否具备可测性。

　　引入到软件测试中，就是指测试小组在正是测试一个新版本之前，先投入较少的人力和时间验证一个软件的主要功能，如果主要功能都没有运行通过，则打回开发组重新开发。这样做的好处是可以节省时间和人力投入到不可测的项目中。

1.5.2 回归测试

　　回归测试是指修改了旧代码后，重新进行测试以确认修改后没有引入新的错误或导致其他代码产生错误。
　　回归测试一般是在进行第二轮软件测试时开始的，验证第一轮软件测试中发现的问题是否得到修复。当然，回归也是一个循环的过程，如果回归的问题通不过，则需要开发人员修改后再次进行回归，直到所有问题回归通过为止。

1.5.3 随机测试

　　是指测试中的所有输入数据都是随机生成的，其目的是模拟用户的真实操作，并发现一些边缘性的错误。

　　随机测试可以发现一些隐蔽的错误，但是也有很多缺点，例如测试不系统，无法统计代码覆盖率和需求覆盖率、发现的问题难以重现等。一般是放在测试的最后执行。随机测试更专业的升级版叫做探索性测试。

1.5.4 探索性测试

　　探索性测试可以说是一种测试思维技术，它没有很多实际的测试方法、技术和工具，但却是所有测试人员多应该掌握的一种测试思维方式。探索性测试强调测试人员的主观能动性，抛弃繁杂的测试计划和测试用例设计过程，强调在碰到问题时及时改变测试策略。

1.5.5 安全测试

　　安全测试在IT软件产品的生命周期中，特别是产品开发基本完成至发布阶段，对产品进行检验以验证产品符合安全需求定义和产品质量标准的过程。

　　安全测试现在越来越受到企业的关注和重视，因为由于安全性问题造成的后果是不可估量的，尤其是互联网产品，最容易遭受各种安全攻击。

二、分层的自动化测试

　　我们应该有更多的低级别的单元测试，而不仅仅是通过用户界面运行的高层的端到端的测试。

 

　　 传统的自动化测试我们可以理解为基于产品UI层的自动化测试，它是将黑盒功能测试转化为由程序或工具执行的一种自动化测试。

 　　但是在目前的大多数研发组织当中，都存在开发与测试团队割裂（部门墙）、质量职责错配（测试主要对质量负责）的问题，在这种状态下，测试团队的一个“正常”反应就是试图在测试团队能够掌握的黑盒测试环节进行尽可能全面的覆盖，甚至是尽可能全面的  UI 自动化测试。

　　这可能会导致两个恶果：一是测试团队规模的急剧膨胀；二是所谓的全面UI自动化测试运动。因为UI是非常易变得，所以UI自动化测试维护成本相对高昂。

　　分层自动化测试倡导的是从黑盒（UI）单层到黑白盒多层的自动化测试体系，从全面黑盒自动化测试到对系统的不同层次进行自动化测试。

2.1 单元自动化测试

　　单元自动化测试是指对软件中的最小可测试单元进行检查和验证。对于单元测试中单元的含义，一般来说，要根据实际情况去判断其具体含义，如C语言中单元是指一个函数，Java中单元是指一个类，图形化的软件中单元是指一个窗口或一个菜单等。总的来说，单元就是人为规定的最小的被测功能模块。规范的进行单元测试需要借助单元测试框架，如Java语言的Junit、TextNG，C#语言的NUnit，以及Python语言的unittest、pytest等，目前几乎所有的主流语言都有其相应的单元测试框架。
　　Code Review中文翻译为代码评审或diamante审查，是指在软件开发过程中，通过对源代码进行系统性检查的过程。通常的目的是查找系统缺陷、保证软件总体质量以及提高开发者自身水平。与Code Review 相关的插件和工具有很多，例如Java语言中基于Eclipse的ReviewClipse和Jupiter、主要针对Python语言的Review Board等。

2.2 接口自动化测试

　　Web应用的接口自动化测试大体分为两类：模块接口测试和Web接口测试。

2.2.1 模块接口测试

　　主要测试模块之间的调用与返回。当然，我们也可以将其看做是单元测试的基础。它主要强调对一个类方法或函数的调用，并对返回结果的验证，所用到的测试工具与单元自动化测试相同。

 2.2.2 Web接口测试

　　Web接口测试又可以分为两类：服务器接口测试和外部接口测试。

• 服务器接口测试：指测试浏览器与服务器的接口。我们知道Web开发一般分前端和后端，前端开发人员用html/CSS/javascript等技术，后端开发人员用php/Java/C#/Python/Ruby等各种语言。用户的操作是在前端页面上，需要后端提供服务器接口，前端通过调用这些接口来获取需要的数据，通过HTTP协议实现前后端的数据传递。
• 外部接口测试：指调用的接口由第三方系统提供。典型的例子就是第三方登录，例如新上线的产品为了免于新用户注册账号的麻烦会提供第三方登录，纳闷用户在登录的时候调用的就是第三方登录的接口，用户登录信息的验证由第三方完成，并返回给当前系统是否验证通过。

当然，接口测试也有相应的类库或工具，例如测试HTTP的有HttpUnit、Postman等

三、UI自动化测试

　　UI层是用户使用该产品的入口，所有功能都通过这一层提供并展示给用户，所以测试工作大多集中在这一层进行。为了减轻这一层的测试人力和时间成本，早期的自动化测试工具主要针对该层设计。目前主流的测试工具有UFT、Watie、Robot Framework、Selenium等。

　　除UI层所展示的功能外，前端代码同样需要进行测试。在前端开发中最主要的莫过于JavaScript脚本语言，而QUnit就是针对JavaScript的一个强大的单元测试框架。