商业银行接口自动化测试结果分析方法与装置
Posted 软件测试情报局
tags:
篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了商业银行接口自动化测试结果分析方法与装置相关的知识，希望对你有一定的参考价值。
详细介绍技术背景
随着数字化转型的深入推进，商业银行的产品迭代不断加快。同时，商业银行的业务性质要求其应用系统有极高的稳定性和可靠性。既要快又要稳，自动化测试是解决这一问题的关键。因此，最近几年，各家商业银行均在大力发展自动化测试。
在这一进程中，自动化测试的设计理念不断完善，新的技术不断应用，使得自动化测试资产的积累代价和维护代价不断降低。
伴随而来的，自动化测试资产的数量不断增长。
以某商业银行为例，2018年8月，全量自动化测试资产（脚本、案例）约3800条。在不足两年的时间内，到2020年6月，全量自动化测试资产已超过10万条，增长26倍。
其中，对执行资源消耗较大的界面自动化测试资产，从1300余条，快速增长至39000余条，增长30倍。
同时，随着数字化转型的深入推进，敏捷研发模式大幅提升，特别是在面客类应用系统中，敏捷已成为主流。
在敏捷研发模式的迭代周期内，对自动化测试的回归需求显著增加。
此外，随着DevOps工具链的建设完善，自动化测试能力逐步从测试部门输出至开发部门，在每日构建、制品晋级、版本发布等流程中已成为必须的环节。
因此，自动化测试资产的使用频度明显提升。
统计显示，某商业银行2018年8月运行的自动化测试资产不足2万条次，至2020年4月，单月运行数量已超过97万条次，两年增长47倍。
随着自动化测试执行能力的不断提升，自动化测试执行结果数据指数级增加，随之而来的大量结果分析处理工作将成为自动化测试的开展的瓶颈，亟需配套高效的自动化方法。
针对上述问题，本发明提出了一种商业银行组织级接口自动化测试结果分析方法与装置，通过接口测试结果模型化方法和基于错误码库、非缺陷知识库的错误归类分析方法，辅助测试人员高效实施大规模、多系统的接口自动化测试结果分析处理。
研究现状
对于自动化测试的结果判断，当前已有的技术方案主要有以下三种：
1、人工对返回报文检查分析；
2、针对单个接口测试脚本编写结果检查脚本；
3、对同类接口的测试，截取返回报文某关键参数进行检查。
但是：
- 人工分析依赖测试人员经验，且效率低下。
- 针对单个接口测试脚本编写结果检查脚本的方法会增加测试脚本编写和维护的难度，无法适应成规模的接口测试。
截取返回报文某关键参数进行检查的方法，需应用系统的接口有固定字段返回应用级对错信息，且仅能判断交易应用级对错，对错误无进一步归类的能力，无法避免错误分析需要的大量工作。
技术方案
商业银行的组织级的自动化测试平台所管理的接口自动化测试案例往往数量庞大、隶属于不同的系统，且接口的通讯方式多样，报文的种类各不相同，这就对组织级的接口自动化测试结果分析提出了很高的要求。
本专利的方法及装置，首先在组织级层面，将接口自动化测试的结果模型化，再基于组织级的错误码库和非缺陷知识库，分析接口自动化测试的结果，降低人工分析工作量，提升“执行错误”与真实缺陷的逼近程度。
接口测试结果模型化方法
本专利的方法及装置中，接口测试结果的数据模型包括结果标志、错误码、错误信息和返回信息，在接口测试的过程和结果中，从通讯级到应用级提取该数据模型，方法如下：
1、在平台执行接口测试的过程中，若出现任何程序未处理的内部异常，则结果标志为I，此时错误码、错误信息和返回信息均为空；
2、在常见的http通讯、tcp通讯、webservice通讯等通讯方法中，若无法正常通讯并拿到预期的返回报文，则认为在通讯级发生异常，结果标志为U，此时错误码、错误信息均为空，通讯异常的任何返回信息存储在返回信息中；
3、在能够拿到正常的返回报文的情况下，一般统筹设计良好的系统，会在返回报文公有域特定字段返回应用级处理是否正确，若应用级处理错误，则还会在返回报文公有域特定字段返回错误码和错误信息。
（1）若应用级处理正确，则结果标志为N，此时错误码、错误信息均为空，返回信息存储返回报文；
（2）若应用级处理错误，则结果标志为E，错误码、错误信息存储返回报文提取的相应信息，返回信息存储返回报文；
（3）在金融系统中，为保证安全，重要金融交易一般会涉及双人复核或者远程授权的过程，此时应用级处理结果为“需要授权”，则结果标志为A，错误码、错误信息均为空，返回信息存储返回报文。
4、在实际实施组织级接口测试覆盖时，一些存量系统未在公有域特定字段返回应用级处理结果，此时，平台后退至通讯级结果判断，若正常通讯并拿到预期的返回报文，则结果标志为N，此时错误码、错误信息均为空，返回信息存储返回报文。
错误码库和非缺陷知识库设计方法
基于组织级平台的接口测试结果模型化数据，本专利的方法为各系统量身定制错误码库和非缺陷知识库，对大规模接口回归测试的结果进一步分类、分析。
错误码库以系统名区分被测系统，并对结果标志为E的接口测试结果细分错误码，分别设置错误描述、匹配方式和匹配表达式。
匹配方式分为三种：
1、精确匹配：该匹配方式适用于统筹设计良好的系统，项目组能够较好的归类业务错误、分配错误码，并在系统接口设计中在公有域有固定字段返回错误码和错误信息，此类系统直接采用错误码库中的错误码与接口测试结果模型中的错误码匹配；
2、错误信息模糊匹配：该匹配方式适用于能够从固定字段输出错误信息，但没有固定字段返回错误码或者错误码定义不规范（如错误码是中文信息）的系统，此类系统错误码和错误信息由测试人员自行定义，每类错误码需对应设计匹配表达式，即一条正则表达式，若接口测试结果模型中的错误信息能匹配该正则表达式则归为该类错误；
3、返回报文模糊匹配：该匹配方式适用于接口设计不规范、无固定字段返回错误信息的系统，此类系统错误码和错误信息由测试人员自行定义，每类错误码需对应设计匹配表达式，即一条正则表达式，若接口测试结果模型中的返回信息能匹配该正则表达式则归为该类错误。
在实际接口测试中，由于被测系统配置错误、被测系统铺底数据异常等问题而出现的错误并非本次测试结果中需重点关注的内容，对于该类错误，将错误码库中的对应错误条目增加标志位，即纳入非缺陷知识库。
接口测试结果归类分析方法
基于接口测试结果模型化和组织级的错误码库、非缺陷知识库，本专利的方法及装置将接口测试的结果分类分析，输出概要表和错误分类表。
概要表如下：
执行错误的交易将进一步处理为错误明细表，如下：
利用该分析结果，测试人员可重点关注结果类型为“执行错误”的分类，确认为缺陷的应提交给开发人员修复；对于“执行错误非缺陷”的分类，应在解决对应问题后再次测试相关接口。
用推理方式推导出本发明的优点
本发明将不同系统、不同通讯方式、不同报文协议的接口测试结果标准化为的统一数据模型，并依据组织级错误码库和非缺陷知识库对标准化的测试结果进行分类分析，大大降低测试结果的人工分析工作量，避免大规模接口测试因缺失高效结果分析能力而毫无意义的风险。
本发明设计的错误码库及配套的三种错误匹配方式，使得测试人员可以灵活自主的为所测系统定制错误归类识别方案，在商业银行系统种类繁多、接口设计标准化程度不一的场景下，解决了接口测试结果的错误识别问题。
本发明设计的非缺陷知识库，使得测试人员可以预设部分不关注的错误类型，以获取重点更加突出的错误分析结果，辅助测试人员更加高效的完成测试活动。
本文提出了一种商业银行组织级接口自动化测试结果分析方法与装置，高效辅助测试人员对测试结果进行分析处理，使得结果分析处理不再是接口自动化测试组织级开展的瓶颈。
以上笔者的经历更像一张横向的知识网，创建了一个交流平台 914172719 ，群内有各种技术同行交流、学习资料、面试经验等。其中用到jenkins、docker、moutebank、python编程等，还需要花更多的精力去深入学习，当每项技能都能掌握到一定深度，才能称为一个完整的知识体系。
最后： 可以关注公众号：伤心的辣条 ！ 进去有许多资料共享！资料都是面试时面试官必问的知识点，也包括了很多测试行业常见知识，其中包括了有基础知识、Linux必备、Shell、互联网程序原理、mysql数据库、抓包工具专题、接口测试工具、测试进阶-Python编程、Web自动化测试、APP自动化测试、接口自动化测试、测试高级持续集成、测试架构开发测试框架、性能测试、安全测试等。
如果我的博客对你有帮助、如果你喜欢我的博客内容，请 “点赞” “评论” “收藏” 一键三连哦！
好文推荐
转行面试，跳槽面试，软件测试人员都必须知道的这几种面试技巧！
以上是关于商业银行接口自动化测试结果分析方法与装置的主要内容，如果未能解决你的问题，请参考以下文章