测试方法和测试用例设计

Posted 2020-11-21 td1900

测试方法和测试用例设计

用户需求/原始需求

需求分析/规格说明书(评审过后，将不合理、无法做到的地方去掉以后的说明书)

测试需求(在需求分析的基础上，以测试团队的工作计划、方式的需要、工作优先级安排)

主要解决“测什么”的问题，即指明被测对象中什么需要测试。

功能是第一要务，按照测试团队的工作要求进行计划

在后期交流中，要不断验证客户需求，要保留文档

对于测试工程师：测试一般划分为功能性测试、非功能性测试

如果没有需求文档，先做冒烟测试，对软件大体有什么功能，进行了解，哪些是功能的重点，有多少功能点，把需求理出来

测试原则：

1. 所有测试活动应以需求为源头和驱动

2. 应尽早地和不断地进行测试

3. 完全测试(穷举测试)是不可能的，数据是无穷无尽的，总有测试不到的数据

4. 没有完美的软件和完美的测试

5. 应避免仅有程序员自己检查程序，避免随意性(避免随意测试)

6. 二八定律，把相对多的时间、成本、精力花在重要的模块、部分

7. Good enough 不做不充分的测试，也不做过多的测试，找到测试费用和测试量之间平衡点

8. 一定要有正确和错误验证

1、所有测试活动都应追溯到用户需求，测试活动应以需求(用户需求->需求规格说明书)为源头和驱动

2、应尽早地和不断地进行软件测试

3、完全测试(穷举测试)是不可能的，因为数据本身是无穷无尽的，总有无法测试到的数据、方面。没有完美的测试和完美的软件,只有未被发现的缺陷，没有不存在问题的软件

4、应充分注意测试中的集群现象：二八定律(把相对多数的时间花在重要的部分)

5、应避免只有程序员自己检查程序，尽量避免测试的随意性(即避免随机测试)

6、测试的Good Enough，不要做不充分的测试，也不做过多的测试，找到测试费用和测试量之间的平衡点，是最佳选择

制定测试内容和最低测试通过标准加以衡量(必要时具体问题具体分析)

7、兼顾合理的输入数据、操作对软件进行测试和不合理的输入数据、操作对软件进行测试

8、程序修改后要做回归测试(不论修改的多少，都要做回归测试)

测试的完成标准：

1) 功能符合需求

2) 被测系统所有的功能点都要被覆盖到(100%覆盖) 如果某个功能点被测试到了，就说该功能点被覆盖了（但凡是要交付到下一阶段的功能、内容，都必须覆盖到，所有功能点至少覆盖一次）

3) 被测系统不允许出现严重程度为一、二、三级缺陷(致命错误、严重错误、一般错误)

4) 所有的配置项必须完整(产业链的各个项目必须完整)

测试过程中遇到的问题：

不知道是否较全面的测试了所有功能

测试的覆盖率无法衡量

对新版本的重复测试很难实施

存在大量冗余测试影响测试效率

软件还未测试之前，就对需求进行设计，实用性要很强

测试用例

测试用例(Test Case)是为了实施测试而向被测试的系统提供的一组集合，这组集合包含：测试环境、操作步骤、测试数据、预期结果等要素。

解决要测什么、怎么测、如何衡量的问题

软件名、版本、模块、测试步骤、顺序、数据、预期结果(根据需求、设计，对可能的结果进行预测)

//测试用例一般可以划分为：场景测试用例(简称“测试用例”)和基本测试用例(给或称为“工用测试用例”)

定义：集合(测试环境、测试步骤、数据、代码、预期结果)

解决“测什么，怎么测，如何衡量”

测试是在测试执行之前设计、编写的文档/报告，它不一定会发现缺陷

缺陷报告是在测试执行完成之后，发现问题、缺陷的报告

作用：

1、 执行测试的有效依据(文档而非口头或主观)

2、 追溯测试的有效依据(可在做回归、缺陷分析时查看)

3、 衡量测试工作量的有效数据

4、 衡量测试人员工作量和工作质量的依据

5、 评估测试覆盖力度的依据（需求中的内容/功能点被测试涉及到了，就说它被覆盖了，需求/功能点覆盖100%）

6、 验证需求和寻找缺陷的重要手段

7、 为新版本或其他项目参考和累积测试经验

测试用例在什么时候开始

设计人员会根据需求进行设计，只要需求和设计文档到位，就可以开始编写测试用例

测试人员的时间周期比开发人员的时间周期长，测试人员早在需求阶段就进入测试阶段

1、如果需求、设计缺失或不完整，在软件完成后编写用例

2、需求、设计完整

熟悉需求、设计之后，在编码之前或实现过程中设计用例

3、软件代码、需求、设计变更后，测试用例需要变更

4、执行用例过程中或执行之后需要适时调整、修改

如何对软件执行操作动作、步骤？

操作步骤中输入些什么样的数据，数据有什么讲究，有什么范围，数据的营造

用合理的方式造出数据

黑盒测试与功能性测试、兼容性测试、自动化测试是平等的

黑盒设计用例的方法：(黑盒测试：以数据为驱动的功能性测试，不关注内部结构)

1、等价类

两位数加法计数器

需求：两位数范围内(-99~99)，两个数求和

?

两位数包不包括小数？

衡量成本、时间，评估一下工作量，进行测试

加数1：[-99,99]

加数2：[-99,99]

工作量：199*199=39601

留哪些数据？为什么留这些数据？为什么砍掉其他数据？

等价类(解决了不能穷举测试的问题/极大的控制了测试成本在可接收范围内/控制测试用例的数量)

根据用户需求及其特点和数据本身的特点，将数据划分为有限的若干个类型，从每个类型中的抽取一个具有代表性的数据进行测试

如何利用现有的时间成本，将数据划分到什么地步

有效等价类

无效等价类

等价类1：[-99,99]

等价类2: <-99 因为无法找到小于-99同时大于99的数，因此，无效等价类分

等价类3: > 99 为两个

划分等价类的方法

1、在连续的数据取值范围中，至少可以划分三个等价类，其中1个有效等价类[0,100]，2个无效等价类(<0)(>100)

?

有规律的数据，例如奇数、偶数，也可以用等价划分的方法

课堂练习：

微信红包(0,200]

分析需求特点，边界值的特点，是否需要取等于

等价类1 0<x<=200

等价类2 x<=0

等价类3 200>x

T0305样品软件

需求：一班学生学号[1,40]

? 各科成绩[0,100]

一班学生学号

等价类1 [1,40]

等价类2 <1

等价类3 >40

等价类4 >200

成绩

等价类1 [0,100]

等价类2 <0

等价类3 >100

2、输入条件规定了必须输入某些数据，至少划分为一个有效等价类、一个无效等价类

?

3、输入数据只有两种可能，true、false/yes、no等，划分为一个有效等价类、一个无效等价类

4、确定一个有效等价类（多个条件都满足），若干个无效等价类（不满足长度要求或者不满足开头或者不满足组成，三个无效等价类）

?

5、在已知等价类的基础上，根据具体情况再划分

等价类细分的素材 例如：

非数值：

汉字

字母

其他字符

空白

6、规定了输入数据的一组值，并且对每个输入值分别处理，划分若干个有效等价类，一个无效等价类

建议尽可能在一个下拉框中，减少输入选项，可以增加下拉框控件数量

等价类划分步骤：

1、对输入数据进行分析(结合需求分析，数据本身特点的分析)，再划分等价类

考虑输入数据的数据类型(输入类型)、数据范围(输入长度)

2、为等价类进行编号

3、每个等价类中的数据至少要用一次

9.25回顾

等价类划分方法

1、连续数据取值范围，可以分为一个有效，两个无效

2、规定输入某些无规律的数据取值集合，例如验证码，可以分为一个有效，一个无效

3、输入条件是布尔量true/fales，yes/no，可以分为一个有效，一个无效

4、由多个无关联的条件共同构成数据范围，例如Java标识符的命名规则，可以分为一个有效，多个无效

5、在已知等价类基础上，再进行细分

6、规定了输入数据是无规律的一组值，并且对每个输入值分别处理，例如下拉框，可划分为若干个有效，1个无效(除了下拉框中的，其他的都是无效的)

划分等价类标准

完备测试、避免冗余；

子集互不相交：保证无冗余，不会出现多个用例用到相同类型的数据；

所有子集相加即为数据总集(整个集合)。

等价类1 x>99

等价类2 x<-99

-99<=x<=99

等价类3 -99<=x<0

等价类4 x=0 若3和4中都包括0这个取值，那么会造成冗余

等价类5 0<x<=99

边界值

-99<=x<=99

if(-99<=x&&x<=99)

{

…//正确处理

}

if(x<-99||x>99)

{

…//错误处理

}

边界值是等价类派生出来的方法，只要有数据的取值范围，就肯定有边界值

开区间：一个连续的取值范围，大于最小值，小于最大值，不包括两个端点

1<x<10 (1,10)

闭区间：一个连续的取值范围，大于等于最小值，小于等于最大值，包括两个端点

1<=x<=10 [1,10]

上点：不区分开闭区间，边界上的点，1和10是上点

若是开区间，上点在域范围外

若是闭区间，上点在域范围外

内点：在取值范围内的任意一点，2，3，4等都是内点

离点：若是开区间，离点是范围内离上点最近的点，若是闭区间，离点就是范围外离上点最近的点

开区间(1,10)，2和9就是离点，内收，因为1，10是无效值，所以还应取又消失

闭区间[1,10]，0和11是离点，外放

边界值：上点和离点

(49,79):49,79,50,78

(49,79]:49,79,50,80

[49,79):49,79,48,78

回顾上午的知识：

边界值(等价类的补充/特例)

开区间：不包含最大值和最小值的数据取值范围 (1,10)

闭区间：包含最大值和最小值的数据取值范围 [1,10]

上点：边界上的点，最大值、最小值，不区分开闭区间

内点：取值范围内的任意一点

离点：区分开闭区间，离上点最近的点

开区间的离点是取值范围内离上点最近的点，内收，最小值+1个单位，最大值-1个单位，因为上点是无效值，故还应取有效值

闭区间的离点是取值范围外离上点最近的点，外放，最小值-1个单位，最大值+1个单位，因为上点是有效值，故还应取无效值

4+1理论，2个上点，2个离点，1个内点

6+1理论

[10,100] 边界值，9，10，100，101

(10,100) 边界值，10，11，99，100

不管开闭区间，六个边界值：9，10，11，99，100，101

若已知，开闭区间，会产生冗余，若需求不明确，或团队技术不高的情况可考虑采用6+1理论

回顾：

等价类的作用：解决不能穷举测试的问题，极大的控制成本在可接收范围内

等价类划分(根据需求的特点，数据本身的特点进行划分)

有效等价类：符合需求的数据

无效等价类：不符合需求的数据

等价类划分方法：

1、 连续数据取值范围，可划分为一个有效，两个无效

2、 规定输入的数据是无规律的一组值，并且对每个输入值分别进行处理，例如下拉框，可划分为若干个有效，一个无效(除了下拉框中的，都是无效的)

等价类缺点：数据值是不准确的，不精确的/数据值的准确性不一样

边界值：是等价类的补充，解决数据不准确的缺点

边界值的优点：数据值的准确性、判断数据的边界，解决了数据中极大极小值可能存在的问题

int i;

If(i>=1 && i<=12)

{

System.out.print(i+“月是月份”);//正确处理

}

If(i<1 ||1>12)

{

System.out.print(i+”不是月份”);//错误处理

}

等价类、边界值都是为黑盒测试设计数据的

4+1理论

开区间：包含最大值和最小值的数据取值范围 (1,12) 1<x<12

1，2，12，13

闭区间：不包含最大值和最小值的数据取值范围 [1,12] 1<=x<=12

0，1，12，13

上点：边界上的点，取值范围的两个端点

离点：离上点最近的点，在开区间中，离点是取值范围内离上点最近的点；

在闭区间中，离点是取值范围外离上点最近的点。

char c;

for(c=0;c<70000;c++)

{

System.out.print(c);

}

代码可编译，可运行，结果是死循环，

ping –l 5000 192.168.0.106 向IP地址为192.168.0.106发送字节数为50000的数据包

ping –t 5000 192.168.0.106 不间断的向IP地址为192.168.0.106发送字节数为32的数据包

ping –l 5000 192.168.0.106 -t 不间断的向IP地址为192.168.0.106发送字节数为50000的数据包

?

ping IP地址，向该IP地址发送数据包，数据包字节的取值范围为[0,65500]

端口号，采用短整型，[0,65536]

数据设计和制造

数据组合：因果图，正交排列(有较强的局限性)

掌握原理、目的、操作步骤

因果图：(质量控制，也称石川图/鱼骨图/树杈图)

输入的数据(因)

程序结果(果)

先分析因果关系

确定因与因，因与果之间的关系

用例评审标准：

1、100%覆盖需求、功能、控件

2、执行效率，文字说明不够清晰、步骤不严谨

等价类之间互不相交

将等价类中的数据进行等价分类，将有效等价类和无效等价类划分出来，再将它们进行组合

一个应用程序输入项目的个数很多，等价类个数偏多，组合更多，人工成本过大

因果图基本步骤：

1、 在程序中梳理输入项目，(再根据输入项目数据的特点)划分等价类(因)

2、 在程序中梳理得出预期结果(果)

3、考虑因之间的关系、产生的结果的组合(石川图)

4、判定驱动法形成判定表、对判定表进行优化(化简)

5、判定表的每一列即一条测试用例

解决问题：

分析数据之间组合产生的不同结果，从而设计测试用例/分析因与因之间的组合产生的不同结果，设计测试用例

原因为真，结果必为真

与(并且)：两个原因都为真，结果才为真

或：有一个原因为真，结果就为真

非：原因为假，结果为真

排他性约束：各个原因之间不能同时为真，但可以同时为假

在一个复杂的应用程序中，可以局部的使用因果图

使用因果图的方法写测试用例

1、 门槛相对较高(需要一定需求分析能力)

2、 需要较高的熟练度

3、 成本偏高(规模大、复杂度高)

正交

正交测试目标：

节省工作时间/节省测试用例设计时间，减少人工排列组合的时间

控制测试用例数量

具有比较均衡的覆盖率

优点：

节省测试用例设计时间，减少人工排列组合的时间

控制测试用例数量

具有比较均衡的覆盖率

特点：均匀分散、齐整可比(概率相同)

正交表必须满足这两个特点，有一条不满足，就不是正交表：

1、 每列中不同数字(水平)出现的次数相等

2、 在任意两列，其横向组成的数字对中，每种数字对出现的次数相等

因素：考察的变量/被测的输入项/ (外貌、家庭、个人、能力)

水平：因素被考察的值/输入项中的等价类/控件中的取值范围、等价类(身高、体重、颜值、背景、经济、性格、三观、年龄、经济、生活)

因素1：水平1、水平2… 每个因素的水平数量相等

因素1：水平1、水平2…

……

Ln(mk) Ln_k_m

n:表的行数，需要测试组合的次数/测试用例的数量

k:表的列数，控件个数/因素的数量

m:每个控件包含的取值个数/水平的数量

正交表的表示形式：L行数(水平数因素数)

L9(34)表示用例数量为9，因素数量为4，每个因素含3个水平

正交表类型

1、完全符合正交表(每个因素的水平相同，且符合正交规律)的整齐排列直接套用现成的正交表

2、部分符合正交表(每个因素的水平相同，但因素或水平无现成的正交表)，将因素或水平适当增减向可能的正交表靠拢，如果是减则在正交表基础上适当人工增加用例

3、非整齐的排列借助正交公式缩减并计算出排列数量，再人工方式在最终的排列数量中按规律排列

正交表公式：N=(p1-1)q1+(p2-1)q2+…+1

p：水平的数量

q：拥有此水平数量的因素个数

N：最后求出的最后结果数量

1：校验值

a：a1 a2

b：b1 b2

c：c1 c2 c3

d：d1 d2 d3

e：e1 e2 e3 e4 e5 e6

N=(2-1)2+(3-1)2+(6-1)*1+1=12

状态图

数据、操作动作

状态图的分析使用步骤

1) 列出被测系统的输入事件

2) 对空闲状态(程序刚启动时的状态)加所有可能的输入，判断产生哪些新状态

3) 对第二步产生的每个新状态分别加所有可能的输入

4) 对第三步产生的每个新状态分别加所有可能的输入

5) 对第四步产生的每个新状态分别加所有可能的输入

6) 直到没有新状态产生

在空闲状态下，单独进行

第一轮

1、空闲->ip1->人民币金额已输入

2、空闲->ip2->国家已选择

3、空闲->ip3->国家未选择，人民币金额未输入

4、空闲->ip4->空闲

5、空闲->ip5->程序结束，退出

第二轮

1、人民币金额已输入->ip1->人民币金额已输入

6、人民币金额已输入->ip2->国家已选择，人民币金额已输入

7、人民币金额已输入->ip3->国家未选择，人民币金额已输入

4、人民币金额已输入->ip4->空闲

5、人民币金额已输入->ip5->程序结束，退出

第三轮

6、国家已选择->ip1->国家已选择，人民币金额已输入

2、国家已选择->ip2->国家已选择

8、国家已选择->ip3->国家已选择，人民币金额未输入

4、国家已选择->ip4->空闲

5、国家已选择->ip5->程序结束，退出

第四轮

7、国家未选择，人民币金额未输入->ip1->国家未选择，人民币金额已输入

6、国家未选择，人民币金额未输入->ip2->国家已选择，人民币金额未输入

3、国家未选择，人民币金额未输入->ip3->国家未选择，人民币金额未输入

4、国家未选择，人民币金额未输入->ip4->空闲

5、国家未选择，人民币金额未输入->ip5->程序结束，退出

4、国家未选择，人民币金额未输入->ip6->空闲

第五轮

6、国家已选择，人民币金额已输入->ip1->国家已选择，人民币金额已输入

6、国家已选择，人民币金额已输入->ip2->国家已选择，人民币金额已输入

9、国家已选择，人民币金额已输入->ip3->显示金额

4、国家已选择，人民币金额已输入->ip4->空闲

5、国家已选择，人民币金额已输入->ip5->程序结束，退出

第六轮

7、国家未选择，人民币金额已输入->ip1->国家未选择，人民币金额已输入

6、国家未选择，人民币金额已输入->ip2->国家已选择，人民币金额已输入

7、国家未选择，人民币金额已输入->ip3->国家未选择，人民币金额已输入

4、国家未选择，人民币金额已输入->ip4->空闲

5、国家未选择，人民币金额已输入->ip5->程序结束，退出

7、国家未选择，人民币金额已输入->ip6->国家未选择，人民币金额已输入

第七轮

6、国家已选择，人民币金额未输入->ip1->国家已选择，人民币金额已输入

8、国家已选择，人民币金额未输入->ip2->国家已选择，人民币金额未输入

8、国家已选择，人民币金额未输入->ip3->国家已选择，人民币金额未输入

4、国家已选择，人民币金额未输入->ip4->空闲

5、国家已选择，人民币金额未输入->ip5->程序结束，退出

7、国家已选择，人民币金额未输入->ip6->国家已选择，人民币金额未输入

测试点：给出错误提示，点击确定后，能否继续正确的完成操作

每种状态至少访问一次

被用户多次使用，常用的模块、状态要多次覆盖

优点

能够清晰地看出哪些状态未被覆盖到

能够清楚的计算出状态覆盖力度

1、思路清晰，要求我们事先做好设计思路，需求分析

2、测试用例的概述、测试点要清晰准确

3、测试步骤简洁，即别人看你的测试用例是，可以清晰地看到第一步做什么，第二步做什么

4、测试步骤清晰、具体，即不会产生歧义

5、无冗余即测试用例不要重复，每条用例的测试点要不一样

6、100%覆盖就是在设计用例时，用户需求、功能、控件都要涉及到

7、可复用性，即测试用例可反复使用，可执行性高

1、100%覆盖

2、预期结果是否确定、唯一

3、可执行性，语言描述是否清晰、步骤是否严谨

4、对中间、后台的数据的检查

正确保存，即数据能够完整、准确的保存到后台，

冗余：

在设计上存在等价类的子集相交（你在划分等价类的时候，就存在交集）

不是为了验证重复性或业务需求，多条用例的数据步骤完全一样

多条测试用例不能测试出需求、设计或程序或数据的不同类型和方面

考虑等价类、方法够不够

1、 需求点100%覆盖

2、 被测功能点、控件100%覆盖

3、 必须有正确数据、正确步骤和坑能导致出错的数据、步骤

4、 有数据值域的必须考虑数据值域覆盖：边界值、等价类

5、 所有边界值都必须覆盖

6、 等价类必须包含有效和无效等价类

7、 所有等价类都必须覆盖(等价类数量过多导致超过测试成本，优先考虑有效等价类，然后根据数据使用频率、机率高低分优先级，高级优先覆盖，同时考虑自动化测试)

8、 核心功能点必须被覆盖多次()

9、 测试用例数量要大于功能点的数量