缺陷等级定义

Posted 2020-06-15

B/S架构(Web)测试的缺陷等级定义：

A: 致命

1. 正常的用户操作导致浏览器崩溃或无响应
2. 产品核心功能没有实现或无法使用：例如播放器无法播放视频、邮箱无法登录、不能收发邮件
3. 程序实现与需求严重不符：例如一个程序改版只为了按需求增加统计功能，但程序没有统计功能或有统计输出但并非是要统计的数据
4. 其他导致无法测试的错误：例如没有新功能入口
5. 严重的数值计算错误：例如算法设计错误，导致计算结果错误
6. 存在致命的安全漏洞：例如密码不匹配也可登录、密码暴露在URL串中、复制最高权限登录后的页面链接在其他进程浏览器中，无需再次验证即可拥有最高权限
7. Bug被重开次数>=3次，如果原来bug定级为A，则无需改变缺陷级别
8. 上线前最后一个版本配置管理出现问题

B: 严重

1. 正常的用户操作导致浏览器出现偶发类崩溃（偶发概率20%以上）
2. 主业务流程对应的功能没有实现或实现不正确，阻碍测试继续进行
3. 程序上主要功能实现与需求不符
4. 其他导致部分模块无法测试的错误
5. 主要数值计算错误：例如需要统计5类数据，但只有3类数据被统计
6. XSS漏洞等安全性问题
7. 1<Bug被重开次数<=2次，如果原来bug定级为A或B，则无需改变缺陷级别
8. 上线前进入最后一轮测试时版本配置管理出现问题
9. 主要页面404、502或其他问题
10. 严重的功能逻辑错误
11. 严重的操作权限错误，对用户数据造成严重影响
12. 严重的兼容性问题和页面样式问题，如：页面样式严重错乱，导致页面控件无法正常定位
13. 页面下载明显缓慢或接口调用明显缓慢并可能导致功能无法使用等性能问题

C: 较严重

1. 正常的用户操作导致浏览器出现偶发类崩溃（偶发概率10%以下）
2. 用户非常规操作导致浏览器崩溃或影响系统性能的问题
3. 次业务流程对应的功能没有实现或实现错误，但不影响测试继续进行：例如不能修改昵称等非主要问题
4. 程序上主要功能的分支或非主要功能与需求不符
5. 轻微的数值计算错误：对于取整类、四舍五入类的计算，异常操作的输出未被计算在内
6. Bug被重开次数=1次，如果原来bug定级为A或B，则无需改变缺陷级别
7. 上线前进入测试时，提交测试的过程版本配置管理出现问题
8. 初始化错误：如统计中的初始值
9. 输入域执行SQL、JS等代码的问题
10. 系统中用户权限实现有误
11. 兼容性导致的主要功能问题
12. CSS错乱等严重的样式问题
13. 页面出现JS错误且导致某功能不可用

D: 一般性问题主要为：界面类、容错类缺陷

1. 次要功能的分支与需求不符
2. 操作界面UI类错误：例如显示折行、溢出等样式问题
3. 边界条件下错误、输入域的边界问题
4. 输入域对特殊字符处理的相关问题
5. 提示信息错误（包括未给出信息、信息提示错误等）
6. 界面中操作焦点错误（如按Tab键未顺序操作，弹出其他窗口后主界面焦点位置错误等）
7. 输入域的相关问题，如：输入框长度判断错误
8. 非主流浏览器出现的一些可替代的功能异常

E:易用性和建议类缺陷

1. 界面格式等不规范
2. 一些边角的样式问题
3. 需求未定义的一些页面展现，如Title显示不正确等
4. 文案问题，例如ALT值等
5. 辅助说明描述不清楚
6. 操作时提示信息不完善
7. 可输入区域和只读区域没有明显的区分标志
8. 个别不影响产品理解的错别字
9. 文字排列不整齐等一些小问题

10. 建议类型的缺陷：如用户使用习惯等易用性问题、对流程规则和逻辑需求建议问题、对页面布局和显示方式等UI问题的建议

C/S架构(Client)测试的缺陷等级定义：

A: 致命

1. 程序无法运行/模块无法启动/异常退出
2. 程序导致操作系统崩溃/死机/蓝屏
3. 程序实现与需求严重不符
4. 程序实现与技术文档严重不符
5. 程序实现与开发规范严重不符
6. 导致产品无法继续进行测试的缺陷
7. 程序占用资源高（比同类产品高出50%以上）
8. 内存、GDI等泄漏
9. Bug被重开次数>=3次，如果原来bug定级为A，则无需改变缺陷级别
10. 上线前最后一个版本配置管理出现问题

B: 严重

1. 程序可基本运行但主要功能模块运行异常
2. 程序出现偶发类崩溃（偶发概率20%以上）
3. 程序上主要功能实现与需求不符
4. 程序实现与技术文档中定义有差别，造成功能实现不全面
5. 程序实现与开发规范不符，导致相关功能实现错误
6. 导致部分模块无法继续测试的错误
7. 程序占用资源偏高（比同类产品高出20%～50%之间）
8. 性能不达标
9. 1<Bug被重开次数<=2次，如果原来bug定级为A或B，则无需改变缺陷级别
10. 上线前进入最后一轮测试时版本配置管理出现问题

C: 较严重

1. 程序出现偶发类崩溃（偶发概率10%以下）
2. 程序上主要功能的分支或非主要功能与需求不符
3. 功能实现错误但不影响主要流程
4. 实现了多余功能
5. 程序占用资源略高（比同类产品高出的百分比不超过20%）
6. 界面刷新类错误
7. 参数未进行输入限制导致严重错误
8. 性能需要优化
9. Bug被重开次数=1次，如果原来bug定级为A或B，则无需改变缺陷级别
10. 上线前进入测试时，提交测试的过程版本配置管理出现问题

D: 一般性问题主要为：界面类、容错类缺陷

1. 操作界面UI存在常规错误
2. 边界值限制错误
3. 提示信息错误（包括未给出信息、信息提示错误等）
4. 界面中操作焦点错误（如按Tab键未顺序操作，弹出其他窗口后主界面焦点位置错误等）
5. 窗口模态/非模态属性错误

E:易用性和建议类缺陷

1. 界面格式等不规范
2. 界面UI存在微小瑕疵，诸如按钮多边角、多像素等
3. 辅助说明描述不清楚
4. 操作时提示信息不完善
5. 文字说明中存在的错别字、错误标点符号
6. 控件、文字排列不整齐等一些小问题
7. 建议类型的缺陷

服务器及接口测试的缺陷等级定义：

 A: 致命

1. 程序无法运行/模块无法启动/异常退出
2. 程序出现可重现类崩溃/死机/冻结
3. 程序实现与需求严重不符
4. 程序实现与技术文档严重不符（服务器架构等）
5. 程序实现与开发规范严重不符（如日志输出）
6. 其他导致无法测试的错误
7. 严重的数值计算错误：例如主从服务器存活的计算
8. 丢包率超过40%
9. 程序占用资源高（比同类产品高出50%以上）
10. 内存泄漏
11. Bug被重开次数>=3次，如果原来bug定级为A，则无需改变缺陷级别
12. 上线前最后一个版本配置管理出现问题
13. 性能很差无法提供正常服务

B: 严重

1. 程序可基本运行但主要功能模块运行异常
2. 程序出现偶发类崩溃（偶发概率20%以上）
3. 程序上主要功能实现与需求不符
4. 程序实现与技术文档中定义有差别，造成功能实现不全面
5. 程序实现与开发规范不符，导致相关功能实现错误（如有日志输出但日志格式非标准化）
6. 其他导致部门模块无法测试的错误
7. 主要数值计算错误：例如客户端与服务器间汇报的存活状态数值计算不正确，导致服务器误判断客户端已异常退出
8. 丢包率在10%～40%之间
9. 程序占用资源偏高（比同类产品高出20%～50%之间）
10. 1<Bug被重开次数<=2次，如果原来bug定级为A或B，则无需改变缺陷级别
11. 上线前进入最后一轮测试时版本配置管理出现问题
12. 不同类型窗口调用出现逻辑错误
13. 性能不达标

C: 较严重

1. 程序出现偶发类崩溃（偶发概率10%以下）
2. 程序上主要功能的分支或非主要功能与需求不符
3. 功能实现错误
4. 轻微的数值计算错误：例如服务器在线人数对于客户端的频繁退出未及时统计，有延迟
5. 丢包率在10%以下
6. 程序占用资源略高（比同类产品高出的百分比不超过20%）
7. Bug被重开次数=1次，如果原来bug定级为A或B，则无需改变缺陷级别
8. 上线前进入测试时，提交测试的过程版本配置管理出现问题
9. 刷新类错误
10. 有影响的参数未进行输入限制
11. 性能不优化

D: 一般性问题主要为：界面类、容错类缺陷

1. 接口参数检查已实现，但不全面

1. 操作界面UI类错误
2. 边界条件下错误
3. 提示信息错误（包括未给出信息、信息提示错误等）
4. 界面中操作焦点错误（如按Tab键未顺序操作，弹出其他窗口后主界面焦点位置错误等）

E:易用性和建议类缺陷

1. 界面格式等不规范
2. 辅助说明描述不清楚
3. 操作时未给用户提示
4. 可输入区域和只读区域没有明显的区分标志
5. 个别不影响产品理解的错别字
6. 文字排列不整齐等一些小问题

7. 建议类型的缺陷