持续测试破解自动化测试的行业谜题

Posted 2022-10-04 CrissChan

谁说自动化测试发现不了BUG？
每一个质量保障团队对自动化的投入都会面领着管理者价值拷问，例如自动化测试发现了多少BUG，自动化测试能不能发现BUG等一系列的问题。虽然任何一个内行人都知道自动化测试是必不可少的环节，但是却又很难回答如上的一些问题。

自动化测试的行业谜题

自动化测试主要是将一些手动测试任务通过测试脚本的形式留存下来，然后通过测试脚本回放的方式来完成回归测试部分的工作，那么在很多团队中的自动化测试如下图所示方式运行的。

在每次项目提测后，手工测试工程师先按照提交测试的系统以及需求撰写测试用例，下一步就是完成测试，当测试通过后测试开发工程师再按照业务测试用例编写测试脚本。这个过程中，自动化测试最重要的就是在回归测试的时候能够快速回放，节省回归测试成本。

换个角度来考虑这个问题，IEEE 610对测试用例的定义指出，测试用例的三部分分别是测试数据、测试执行过程以及预期结果。再回到图中自动化测试的执行流程，我们不难看出，手工测试用例和自动化测试用例的除去技术实现不同以外，测试数据、测试执行过程以及预期结果都是一致的。因此手从测试用例已经完成了对应的业务逻辑验证，如果有BUG就已经发现了并修复了。这个时候无论是在此进行手工测试还是运行自动化测试，都不应该在发现BUG才是正确的，否则就只能证明之前的某个环节没有达到本应达到的效果。

如果仅仅用发现缺陷来衡量自动化测试的收益，那么回归测试中的自动化测试就很难实现可见收益，也就很难回答管理者的问题。