测试定位bug的思路和方法

Posted 黑黑白白君

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了测试定位bug的思路和方法相关的知识,希望对你有一定的参考价值。



为什么定位问题如此重要?

  • 可以明确一个问题是不是真的“bug”。很多时候,我们找到了问题的原因,结果发现这根本不是bug。原因明确,误报就会降低
  • 多个系统交互,可以明确指出是哪个系统的缺陷,防止“踢皮球”,提高问题解决的效率
  • 增强开发对测试的信任度,沟通更有效,配合的更好,开发修改bug时效增强。
  • 更有效的了解系统的内部逻辑、数据流处理流程,更能提高测试人员的水平,缺陷修复后,影响的测试范围评估更精准,复测更准确
  • 可以降低缺陷率。这个可以说是最重要的。在bug系统中,会要求开发人员记录bug产生的原因。只有我们自己对bug有一个较全面的认识,才会判别出开发写的是不是真正的原因,也才能有助于我们后续对bug进行分析归类,根据bug分析,有针对性地未雨绸缪,进而提升产品质量,降低缺陷

0)定位原因之前

遇到问题时,先别急着去定位原因。

  • 保存bug产生的记录:

    首要做的是保存bug产生的记录,保证可以复现
    • 为什么要保存记录?因为如果以后不能复现,那就不能证明bug的存在。
  • 排除低级问题:

    然后是排除QA的低级问题 。常见的低级问题:
    • hosts不对
    • 网络不通
    • 工具的影响导致的,例如fiddler
    • 以及操作姿势不正确等。
  • 排除数据问题(脏数据):

    有时候会遇到服务端报500错误,查看日志后,报空指针,那么很有可能就是数据库中关联表的数据被人为删掉导致的。

1)定位问题的思路

*判断是否为bug的标准:

  • 功能是否符合需求说明书
  • 从使用者的角度:功能是否易操作、易理解
  • 系统压力指标是否达到质量要求
  • 排查顺序:

    用户环境层面 -> 展示层面 -> 逻辑控制层面 -> 服务层面 -> 数据库层面

1.1 用户环境层面

主要是指基础环境是否可以使用。比如:

  • 网络是否ping通
  • ip和端口配置是否正确
  • jdk版本是否符合标准
    • 有可能是由于jdk版本不兼容导致系统运行异常,这种问题根据实际情况来决定要不要兼容。
  • 网络设了代理
  • 弱网(如js/css未加载完全、请求超时)
  • 浏览器不支持
  • 系统版本不支持
  • 数据库被删除
  • 测试环境脏数据
  • 项目配置开关
  • 测试环境切了分支等

检查完成后,可以转到第二步。

1.2 用户展示层

用户在使用过程中,通过查看等操作发现的一些问题:

  • 页面样式(css样式问题)
  • 交互过程中js的提示(js交互问题)
  • 终端控制的提示信息
  • 文本的展示(html文本问题)

比如字段长度控制为4位,输入5位时,无法输入,或者大于4位页面弹出提示不允许输入大于4位。

这种问题不通过与服务器的交互,由页面、终端直接控制。这种问题往往比较容易修改,检查后,进入到第三步。

1.3 逻辑控制层

用户操作过程中,业务的处理逻辑有没有按照前期的设计实施。或者中间环节出现异常,比如缓存服务器(如redis)、消息中间件(如rabbitMQ)、数据存取中间件等。

比如我们使用的贷记卡日累计额度为1万,当消费大于1万时,检查通过

  • 经过排查,后台参数配置的不对,或者通过查代码发现该逻辑没有判断

再比如多系统交互时,我们发送一个请求后,终端返回超时

  • 这个时候需要查看日志定位具体哪个系统有问题,这种需要查看每个系统的日志请求及响应
  • 如果没有系统返回超时,并且每个系统都收到了正常的响应,那可能是终端超时时间设置的时间过小,未等到返回先超时导致。

该层的问题定位,一般都需要查看日志。该层检查完,转到下一层。

1.4 服务层

服务层往往检查服务器的配置,如可能是tomcat配置、nginx配置、jdbc配置等的问题。测试人员最好能够了解下它们的各项配置。

比如发现内存溢出问题。

  • 那么可能是tomcat配置错误
  • 遇到过一个实际情况,应用系统为分布式部署,4路部署,当用户登录系统时,有的用户可以登录,有的无法登录,也不报错。经过逐层排查,发现有2路部署jdk版本不一致,原来用jdk1.6(2路),部署的为1.8(2路),是环境人员部署大意导致。

类似问题可能还有tomcat版本等、jar包版本测试环境和正式环境不同。

1.5 数据库层

可能出现测试环境和正式环境数据库版本不同,前后端数据格式、长度限制不同。

用户操作完成后,交易流程非常顺畅,这样也不代表整个交易没有问题,还需要测试人员检查数据库登记的表和字段是否正确

  • 如果发现登记的字段与预期的结果不一致,则可以查看日志,检查请求报文送的字段是否正确,是否与前台填写的一致。
  • 有的一个操作会登记多张表,所以要检查多张表登记或者更新的是否正确,测试人员也需要对被测系统的数据表结构熟悉。

*1.6 经验法则

有经验的测试人员对于有部分bug已经见过多次,能够很快找到根源,直奔主题,迅速报告或者解决bug。

*1.7 其他

常见的bug可能还有构建方面的原因

  • 比如代码本身没错,但是合并代码到主干后出现了问题。
  • 比如代码存在冲突时手动解决的情况。

2)定位问题的方法

2.1 常用的定位策略:

常用的定位策略分为三类:原始类(brute force)、回溯类(backtracking)、排除类(causeeliminations)。

  • 原始类定位方法

    原始类定位方法是最常用也是最低效的方法,只有在万般无奈的情况下才使用它。

    • 主要思想是“通过计算机找错”。
    • 例如输出存储器、寄存器的内容,在程序安排若干输出语句等。
    • 凭借大量的现场信息,从中找到出错的线索,虽然最终也能成功,但难免要耗费大量的时间和精力
  • 回溯法

    回溯法能成功地用于程序的排错。

    • 方法是从出现bug征兆处开始,人工地沿控制流程往回追踪,直至发现出错的根源
    • 不幸的是程序变大后,可能的回溯路线显著增加,以致人工进行完全回溯到望而不可及。
  • 排除法

    基于归纳和演绎原理,采用“分治”的概念。

    • 首先确定所有与bug出现有关的所有数据,设想一个导致bug的原因,用这些数据证明或反驳它
    • 或者一次列出所有可能的原因,通过测试一一排除。只要某次测试结果说明某种假设已呈现倪端,则立即精化数据,乘胜追击。

上述每一类方法均可利用一些测试工具,开发工具。

  • 目前,调试编译器、动态调试器(追踪器)、测试用例自动生成器、存储器映象及交叉访问示图等到一系列工具已广为使用。

2.2 查看状态码

  • 4xx状态码:

    • 4xx状态码一般表示是客户端问题(当然也有可能是服务器端配置问题)。比如:
      • 发生了401,那么要看下是否带了正确的身份验证信息。
      • 发生了403则要看下是否有权限访问。
      • 404则要看下对应的URL是否真实存在。
  • 5xx状态码:

    • 5xx状态码则一般表示服务端出现问题。比如:
      • 发生了500错误,则表明是服务器内部错误,这个时候要配合服务器log进行定位。
      • 发生了502错误则可能是服务器挂了导致的问题。
      • 发生503错误可能是由于网络过载导致的问题。
      • 发生504错误则可能是程序执行时间过长导致超时。

2.3 查看服务器日志

如果发生5xx问题,或者需要检查后端接口执行的sql是否正确,我们最常见的排查方法就是去看服务器日志,比如tomcat日志。

  • 开发人员一般会打出关键信息和报错信息,从而找到问题所在,所以,测试人员也要养成看日志的习惯。

2.4 检查配置

很多时候,bug不是代码的问题,而是tomcat配置、nginx配置、jdbc配置等的问题。

  • 在这个层面上,测试人员最好能够了解下它们的各项配置,在发现问题后可能就会想到这方面的问题。

2.5 查看需求文档

有时候,前端和服务端的交互都正确,但是从测试的角度看不合理。这个时候,我们应该翻翻需求文档。

  • 如果和需求文档不符,那么就要看下改什么比较合理,是改前端,还是改服务端,或者两者都要改。
  • 这里有一个原则,就是前端尽可能少地去承担逻辑,只负责渲染展现。

当然,不要以为需求文档就全部正确,它也可能会有错误,我们也应该去发现需求文档的bug,然后再去协调PM,敦促FE或者RD进行修改

2.6 向开发寻求可测性支持

有时候,涉及到开发过程的一些测试,也需要开发提供可测性支持。

  • 比如,要查看接口给另一个接口发的请求是否正确,可以让开发打印出完整的请求log。
  • 还有一些逻辑开关、修改页面数据条数等,都属于可测性支持的范畴。

3)bug定位常用工具

  • Firefox——firebug、web developer、live http - headers、http fox
  • IE插件——httpwatch
  • 第三方工具——fiddler
  • 慢速网模拟工具——firefox throttle

4)如何区分前端/后端bug?

*为什么要区分前端/后端BUG?

  • 如果是一个多人开发的系统,不能明确定位到这个bug是谁造成的,容易提交给错误的开发人员
  • 同时提交给前后端开发人员,每个人都会有依赖心理,bug会像皮球一样被开发踢来踢去,耽误开发解决bug的时间
  • 另外,如果团队规模较大,或者由各地的项目组拼凑而成,势必会增加沟通成本,这更需要我们在类似禅道或者Jira等项目管理软件中提交bug时,先指明是谁的bug,避免互相踢皮球的现象。
  • 所以测试必须要自己学会区分出是前端还是后端bug,经过bug分类处理,整个团队的效率都会有所提高

*前后端BUG各有什么样的特点?

前端Bug后端Bug
界面相关业务逻辑相关
布局相关性能相关
兼容性相关数据相关
交互相关安全性相关

4.1 利用抓包工具来进行分析

一般有httpwatch,firebug,fiddler,charles等抓包(数据包)工具。

  • httpwatch,firebug都是浏览器的插件,需要额外下载。
  • fiddler,charles也需要额外下载安装包另行安装。

还有一个简单实用并的抓包工具,那就是浏览器的F12调试器

  • 浏览器F12调试器是所有浏览器内置的调试器,不需要额外去安装,而且它提供的功能也比较强大。
  • 如果测试web系统,可以先考虑使用这个调试器去抓包,用它来协助定位系统中的bug。
  • 在NetWork中可以看到当前页面发送的每个http请求。

4.1.1 分析角度

利用抓包工具,可以从三个方面进行分析:请求接口、传参、响应。

  • 请求接口:

    如果请求的接口url错误,为前端的bug。
  • 传参:

    如果传参不正确,如pn、ps参数,为前端的bug。
  • 响应:

    如果响应内容不正确,为后端bug。
    • 要继续深挖,是接口吐数据的时候出错了,还是数据库中的数据就错了,还是缓存中的数据错了(如果用到了缓存的话)。

假设有这么一种情况,要测试一个翻页控件,翻到第二页的时候,发现内容和第一页完全一样,接口请求返回的是200。

  • 这个时候就要看前端发送的参数正不正常,后端返回的内容正不正常,即接口的请求和返回
  • 如果JS基础比较好的话,也可以在浏览器的控制台中输入JS代码进行调试

4.1.2 F12调试器工具的使用

1、打开:

以火狐为例,打开浏览器,再按F12就可以打开调试器:
在这里插入图片描述

  • 不同的浏览器,调试器在ui上可能会有少许差异,但基本功能都差不多。

2、控制台与网络

在分析一个系统bug来自于前端还是后台时,最有用的两个是调试器提供的两个标签,这两个标签底下都记录了一些数据,一个是控制台,一个网络

  • 控制台(Console):
    记录了前端js执行的情况,以及前端向服务器发出去的所有http请求信息
    • 如果有js错误,可以在控制台下看到。如果发现js执行报错了,那就是前端有问题,比如跨域问题。
    • 如果发送到后台的某个http请求没有得到服务器正常响应,也能看到其状态信息。
  • 网络(Network):
    记录了前端往服务器发的所有的http请求信息,而且每个请求发送了什么数据,服务器是否正常响应了请求。如果响应了,响应回来的状态码是什么,响应数据是什么,都可以在“网络”标签下看到。

4.2 定位前端的bug

前端的bug通常是功能、界面和兼容性等有关,涉及到jstl,jsp,js,css,html方面比较多。

bug主要有两块:

4.2.1 JS相关:

第一就是JS写的有问题,这个可以按F12 打开控制台,在console中查看报错信息,一般浏览器都会显示报错的js 。

  • 对于出错的js可以在Sources下查看对应报错的资源文件,基本上都会找到错误原因的变量未定义,参数未定义等,JS错误都很好解决的。

4.2.2 页面:

第二个就是页面中的bug了,现在做web项目基本上没有做静态页面的,都是动态了,所以页面中要么使用了小脚本要么使用了EL表达式来存值。

  • 页面报错的话,在控制台是可以看到错误行号和附近代码的。
  • 图片不显示
    • 谷歌浏览器右键点击图片,点击【检查】,(火狐浏览器右键点击【使用firebug查看元素】。
    • 在打开的控制台上找出图片的属性,输入到浏览器的地址内,如果能打开图片,那么不显示图片的问题就是后台的问题。
    • 如果浏览器内不能打开图片,那么就是前端的问题

4.3 定位后端的bug

后台涉及到servlet,jms,ejb,还有很多框架,struts,hibernate,spring,ibatis等。

  • bug 比较难改,但是好找。主要就是看控制台报错,然后定位错误行号
  • 如果配置文件没有问题,那么一般的报错就是空指针,或者是数组下标越界。
  • 看附近变量,看方法的参数基本上都可以定位错误。

4.3.1 查看报错日志

日志常见的问题:

命令行ssh/xshell工具登录到服务器,找到相应log日志所在的目录,实时查看日志 tail -f xx.logcat xx.log |grep '关键词' ,如找到报错信息可以去代码里面查是哪块报错。

  • 编码问题:
    tomcat是新的,需要改编码。修改tomcat的server.xml文件<Connector port="8080" URIEncoding="UTF-8"/>,特别是windows下的项目重新部署到linux系统下。
  • 空指针:
    程序问题,一般没有考虑到空的情况,或者主外键约束数据为空,或者删除关联数据,导致为空。
  • 长度过长:
    超过最大长度,测试环境修改数据库字段长度后生产环境未修改,导致错误。
  • 非法数据
  • 内存溢出:
    导致重启。

4.3.2 查看数据库的数据

了解所测功能的数据表结构,测试过程中,查看数据库的数据,确认数据的正确性。

响应中有数据,但是跟自己操作的结果不一致,可以根据数据库查询,如果数据库中也没有记录,可能是代码有问题,没有记录你的操作。

  • 例如:注册了一个帐号,但是登录时提示帐号或密码错误,这就可以在数据库表中查看是否有注册的数据。

4.3.3 查看缓存

查看缓存(如Memcache、apc、redis等缓存)是否正确。


5)定位完问题后

在发现问题或者定位到问题原因后,一定要进行一步,就是再次确认问题

  • 所谓确认问题,就是弄清楚问题是否每次都发生,还是概率事件,或者是工具相关的问题
    • 比如换个浏览器是否依然出现?如果换个浏览器不出现的话,很可能就是前端的兼容性问题。
    • 比如翻页控件,待测的系统有很多页面都有翻页控件,那么就要看下是否每个页面都会出现这个问题,进而报bug时进行统一说明,也更加方便开发人员批量处理,防止漏改。


【部分内容参考自】

  • 聊聊-如何准确定位bug原因:https://cloud.tencent.com/developer/news/44973
  • 10大定位bug原因妙招分享,软件测试人员必看:https://baijiahao.baidu.com/s?id=1634223794115270596&wfr=spider&for=pc
  • 三种bug定位方法:https://www.jianshu.com/p/4dbe0a194036
  • 定位bug方法及案例分享:https://www.jianshu.com/p/c0328eabd9a9
  • Web测试中定位bug方法:https://www.cnblogs.com/loved-wangwei/p/8985751.html
  • Web测试中定位bug方法:http://www.51testing.com/html/69/n-3722469.html

以上是关于测试定位bug的思路和方法的主要内容,如果未能解决你的问题,请参考以下文章

web测试 bug定位(待补充)

web测试定位Bug的方法

如何有效的debug

Web测试中定位bug方法

Web测试中定位bug方法

Web测试中定位bug方法